Avaliação e Comparação da Computação de Alto Desempenho em Ferramentas OpenSource de ...

352 Pages·2015·6.04 MB·Portuguese

1

CARLOS ALBERTO FRANCO MARON

AVALIAÇÃO E COMPARAÇÃO DA COMPUTAÇÃO DE ALTO DESEMPENHO EM
FERRAMENTAS OPENSOURCE DE ADMINISTRAÇÃO DE NUVEM USANDO
ESTAÇÕES DE TRABALHO

TRÊS DE MAIO – RS
2014
2

CARLOS ALBERTO FRANCO MARON

AVALIAÇÃO E COMPARAÇÃO DA COMPUTAÇÃO DE ALTO DESEMPENHO EM
FERRAMENTAS OPENSOURCE DE ADMINISTRAÇÃO DE NUVEM USANDO
ESTAÇÕES DE TRABALHO

Estágio Supervisionado
Sociedade Educacional Três de Maio – SETREM
Faculdade Três de Maio
Tecnologia em Redes de Computadores

Professor Orientador:
Doutorando M. Sc. Dalvan Griebler

Três de Maio
2014
3

TERMO DE APROVAÇÃO

CARLOS ALBERTO FRANCO MARON

AVALIAÇÃO E COMPARAÇÃO DA COMPUTAÇÃO DE ALTO
DESEMPENHO EM FERRAMENTAS OPENSOURCE DE ADMINISTRAÇÃO DE
NUVEM USANDO ESTAÇÕES DE TRABALHO

Relatório aprovado como requisito parcial para obtenção do título de
Tecnólogo em Redes de Computadores concedido pela Faculdade de Tecnologia
em Redes de Computadores da Sociedade Educacional Três de Maio, pela seguinte
Banca examinadora:

Orientador: Prof. Dalvan Jair Griebler, Drndo.
PUCRS-RS
Faculdade de Tecnologia em Redes de Computadores da SETREM

Prof. Cláudio Schepke, Dr.
Universidade Federal do Pampa – UNIPAMPA – Alegrete - RS

Prof. Denis Valdir Benatti, Esp.
Faculdade de Tecnologia em Redes de Computadores da SETREM

Prof. Vinicius da Silveira Serafim, M.Sc.
Faculdade de Tecnologia em Redes de Computadores da SETREM

Prof Guilherme Damásio Goulart, M.Sc.
Faculdade de Tecnologia em Redes de Computadores da SETREM

Prof. Vera Lúcia Lorenset Benedetti, M.Sc.
Coordenação do Curso Superior de Tecnologia em Redes de
Computadores

Faculdade de Tecnologia em Redes de Computadores da SETREM

Três de Maio, 08 de agosto de 2014
4

AGRADECIMENTOS

Dalvan Jair Griebler, pela confiança imposta à mim durante esta trajetória.
Seus concelhos e ensinamentos ficaram para vida toda. E pelo melhor resultado
desse trabalho, poder hoje te chamar de amigo.
Mãe Jussara, e pai Aldair (Maronzinho), se cheguei até aqui, foi porque
vocês me indicaram o caminho, me apoiando em todas as decisões.
Eloísa Suzana Borin, por cada momento vivido. E ter acreditado que o final
seria muito melhor que o início.
Coordenação e demais professores do curso de Tecnologia em Redes de
Computadores, o apoio de cada um sempre foi importante no decorrer deste trabalho,
e em minha graduação.
Equipe de colaboradores da SETREM, que direta e indiretamente
colaboraram com esta pesquisa, disponibilizando equipamentos importantes para
alcançar os resultados aqui demostrados.
Ildo Corso, por acreditar no meu conhecimento, e incentivar a continuidade
deste trabalho.
5

RESUMO

A computação em nuvem está se tornando cada vez mais presente nas
infraestruturas empresarias e diversas ferramentas estão sendo criadas para auxiliar
na administração dos recursos computacionais, que lidam diretamente com
tecnologias de virtualização. No entanto, com tantas opções para a tomada de
decisão, a escolha se torna difícil, devido a falta de informação disponível sobre o
desempenho delas. Sendo assim, o objetivo deste trabalho é estudar, implantar e
comparar os ambientes das ferramentas de administração de computação em nuvem
(OpenStack e OpenNebula), analisando o desempenho de aplicações paralelas e da
infraestrutura (usando benchmarks). Além disso, o trabalho buscou identificar se
existem diferenças significativas no desempenho na implantação das ferramentas em
relação ao ambiente nativo, e também entre elas. Para isto, foram executados testes
de avaliação do desempenho da infraestrutura (Memória, disco, rede, e processador)
e das aplicações de alto desempenho de cada ambiente Nativo e Virtual, com o
proposito de mostrar um comparativo entre os resultados e analisar estatisticamente
as diferenças. Os resultados obtidos indicaram que o OpenNebula foi melhor com os
testes das aplicações paralelas e na maior parte dos testes de infraestrutura. O
OpenStack obteve vantagem somente nos testes de disco, pois o seu modelo de
implantação foi favorecido neste cenário específico.
Palavras-Chave — Redes de Computadores, Computação em Nuvem, Alto
Desempenho.
6

ABSTRACT

Cloud computing is becoming increasingly present in the business
infrastructure, and several tools are being developed to assist in the management of
computational resources, which are dealing directly with virtualization technologies.
However, with so many options to make a decision, it becomes difficult to choose, due
to the lack of available information about their performance. Thus, the objective of this
work is to study, implement and compare the environments of cloud computing
administration tools (OpenStack and OpenNebula), analyzing the performance of
parallel applications and the infrastructure (using benchmarks). Moreover, the work
seeks to identify whether there are significant differences in performance in the
implementation of this tools compared to the native environment, and also between
them. For this, we performed tests to evaluate the performance of infrastructure
(memory, disk, network, and processor) and high-performance applications of each
native and virtual environment, in order to show a comparison between the results, and
statistically analyze the differences. The results indicated that the OpenNebula was
better in parallel application tests and most of the infrastructure tests. OpenStack only
had the advantage in disk tests, because its deployment model was favored in this
particular scenario.
Keyword: Network Computing, Cloud Computing, High Performance.
7

LISTA DE QUADROS
Quadro 1: Cronograma das atividades ......................................................... 35
Quadro 2: Orçamento ................................................................................... 36
Quadro 3: Tamanhos de problema e parâmetros para cada uma das classes
definidas no NPB 3.3..................................................................................................93
Quadro 4: Programas e quantidades de processos da suíte NPB-MPI
compilado na Classe B.............................................................................................125
Quadro 05: Resultados dos testes estatísticos da infraestrutura.................186
Quadro 06: Resultados dos testes estatísticos da infraestrutura. OpenStack e
OpenNebula.............................................................................................................193
8

LISTA DE TABELAS
Tabela 01: Comparação de trabalhos relacionados.....................................105
Tabela 02: Diferença dos resultados estatísticos na análise SPSS dos
resultados da suíte NPB-OMP..................................................................................188
Tabela 03: Diferença dos resultados estatísticos na análise SPSS dos
resultados da suíte NPB-MPI....................................................................................190
Tabela 04: Diferença dos resultados estatísticos na análise do SPSS dos
resultados da suíte NPB-OMP..................................................................................194
Tabela 05: Diferença dos resultados estatísticos na análise SPSS dos
resultados da suíte NPB-MPI....................................................................................195
9

LISTA DE FIGURAS
Figura 1: Exemplo do processamento da arquitetura SISD. ......................... 40
Figura 2: Exemplo do processamento da arquitetura SIMD. ........................ 40
Figura 3: Exemplo do processamento da arquitetura MISD. ........................ 41
Figura 4: Exemplo do processamento da arquitetura MISD. ........................ 42
Figura 5: Exemplo arquitetura NUMA ........................................................... 42
Figura 6: Exemplo de uma arquitetura UMA. ................................................ 43
Figura 7: Exemplo de uma arquitetura COMA. ............................................. 44
Figura 8: Exemplo de uma arquitetura NORMA ........................................... 44
Figura 9: Mapa da estrutura da grid 5000 ..................................................... 49
Figura 10: Mapa da GridRS .......................................................................... 50
Figura 11: Exemplo genérico de virtualização. ............................................. 51
Figura 12: Exemplo de uma virtualização por emulação .............................. 53
Figura 13: Exemplo da paravirtualização ...................................................... 54
Figura 14: Hierarquia de comunicação de Deamos. ..................................... 58
Figura 15: Hierarquia de comunicação Libxenctrl. ........................................ 59
Figura 16: Exemplo da arquitetura dos componentes do ESXi 5. ................ 60
Figura 17: Arquitetura Geral da estrutura do KVM. ...................................... 62
Figura 18: Arquitetura geral de um sistema operacional. ............................. 63
Figura 19: Ecossistemas de computação em nuvem. .................................. 69
Figura 20: Demonstração das áreas do provedor e do usuário do modelo IaaS
de computação em nuvem. ....................................................................................... 70
Figura 21: Demonstração das áreas do provedor e do usuário do modelo PaaS
de computação em nuvem. ....................................................................................... 71
Figura 22: Demonstração das áreas do provedor e do usuário do modelo PaaS
de computação em nuvem. ....................................................................................... 72
10
Figura 23: Diagrama do sistema OpenNebula. ............................................. 81
Figura 24: Monitoramento Grid Wikimedia usando Ganglia. ........................ 83
Figura 25: Infraestrutura de testes. ............................................................. 114
Figura 26: Infraestrutura da Nuvem 1. ........................................................ 115
Figura 27: Infraestrutura da nuvem 2. ......................................................... 115
Figura 28: Ambiente virtual de testes. ........................................................ 116
Figura 29: Demonstração do benchmark NPB-MPI em execução.............. 128
Figura 30: Média dos resultados do LINPACK ........................................... 135
Figura 31: Média dos resultados do IPERF ................................................ 136
Figura 32: Largura de banda memória RAM (TRIAD) ................................ 137
Figura 33: Largura de banda memória RAM (SCALE) ............................... 138
Figura 34: Largura de banda memória RAM (COPY) ................................. 138
Figura 35: Largura de banda memória RAM (ADD).................................... 139
Figura 36: Média das operações com o IOzone (WRITE). ......................... 140
Figura 37: Média das operações com o IOzone (REWRITE). .................... 141
Figura 38: Média das operações com o IOzone (READ) ............................ 142
Figura 39: Média das operações com o IOzone (REREAD) ....................... 142
Figura 40: Tempo médio das execuções NPB-MPI no ambiente Nativo. ... 144
Figura 41: Gráfico speed-up NPB-MPI Nativo. ........................................... 146
Figura 42: Tempo médio de execução NPB-OMP Nativo. .......................... 147
Figura 43: Gráfico speed-up NPB-OMP Nativo. ......................................... 149
Figura 44: Gráfico com tempo médio do NPB-MPI OpenNebula. ............... 150
Figura 45: Gráfico de speed-up do NPB-OMP OpenNebula. ..................... 151
Figura 46: Gráfico de tempo médio do NPB-OMP OpenNebula. ................ 152
Figura 47: Gráfico do speed-up do NPB-OMP OpenNebula. ..................... 153
Figura 48: Gráfico de tempo médio do NPB-MPI OpenStack. .................... 154
Figura 49: Gráfico speed-up do NPB-MPI OpenStack. ............................... 155
Figura 50: Comparação do tempo médio do NPB-MPI [BT] ....................... 156
Figura 51: Comparação dos ambientes NPB-MPI [BT]. ............................. 157
Figura 52: Comparação do tempo médio do NPB-MPI [CG]. ..................... 158
Figura 53: Comparação eficiência e speed-up NPB-MPI [CG]. .................. 159
Figura 54: Comparação tempo médio NPB-MPI [EP] ................................. 160
Figura 55: Comparação eficiência e speed-up NPB-MPI [EP]. ................... 161
Figura 56: Comparação tempo médio NPB-MPI [FT] ................................. 161