Grade Computacional com OurGrid no Debian Lenny

Grades Computacionais (Grid Computing) para computação de alto desempenho, descrição do middleware de grade OurGrid e dos passos percorridos para a instalação deste no Debian 5. Lembrando que são relatos das experiências obtidas por mim durante a instalação.

[ Hits: 49.933 ]

Por: Renato Melo em 21/02/2011 | Blog: http://renatomelo.blog.br


OurGrid Broker



Este será a interface do usuário com a grade, é através deste que o usuário poderá verificar o status dos workers e mandar trabalhos a serem computados. Assim como os demais, o broker também é necessário ter um usuário para o broker no XMPP. Como o peer é o gerente do Ourgrid, é preciso cadastrar um usuário para cada broker que usar dos recursos da grade, isso é feito através dos seguintes comandos.

No computador que se encontra o peer entre novamente no diretório:

cd peer/

Adicione o broker como usuário:

./peer adduser broker@192.168.7.30 minha_senha

Obs.: 192.168.7.30 é o IP do servidor XMPP

Usa-se os dados que serão cadastrados no XMMP.

Broker é o que vai na maquina cliente, por exemplo se eu estou em casa e quero executar um programa usando um grid que se encontra na faculdade, preciso ter o broker instalado no meu PC de casa.

Baixar o arquivo no diretório home:

wget -c http://www.ourgrid.org/ourgrid/dist/4/4.2.1/ourgrid-4.2.1-broker.zip
unzip ourgrid-4.2.1-broker.zip
$ cd broker/
$ chmod +x broker
$ ./broker start


vim ~/.broker/broker.properties
  • em 'commune.xmpp.username=broker' é o nome do usuário que também precisa ser criado no openfire.
  • em 'commune.xmpp.password=senha' vai a senha de broker

Salvar e sair do arquivo.

./broker stop

Dica: Caso encontre algum erro na inicialização ou na hora de parar o processo é aconselhável que mate o processo:

ps ax | grep broker
# kill -9 [número do processo]


./broker start

Para setar um grid ao broker:

vim examples/resources/example.gdf

# Grid Description File Example

peer:
   label: Colider
   username : peer1
   servername :192.168.7.30
...

Adapte à sua rede.

./broker status
Broker status

Uptime: 1m 25s

Configuration:
   XMPP login name: broker
   XMPP server name: 192.168.7.30


Peers (1):

   Colider => peer1@192.168.7.30 [ UP ]
...


Tem que estar desse jeito.

Setando o grid a partir do arquivo example.gdf:

./broker setgrid examples/resources/example.gdf
$ ./broker stop
$ ./broker start
$ ./broker status

Broker status

Uptime: 14s

Configuration:
   XMPP login name: broker
   XMPP server name: 192.168.7.30


Peers (1):

   Colider => peer1@192.168.7.30 [ LOGGED ]

Jobs (0):


A saída agora tem que ser assim. Finalmente o grid está instalado e configurado, e aguardando por uma aplicação distribuída.

Página anterior     Próxima página

Páginas do artigo
   1. Introdução
   2. Ourgrid
   3. Preparando o ambiente de instalação
   4. Baixando e instalando do XMPP server
   5. OurGrid Peer
   6. OurGrid worker
   7. OurGrid Broker
   8. Testando
Outros artigos deste autor

Terminais leves: Analisando as tecnologias XDMCP, NXSEVER E LTSP

Leitura recomendada

Biometria: Processamento de imagens capturadas em leitores de impressão digital

Dual-boot: instalando o Windows depois do Linux

Guia de referência do ISOLINUX (parte 1)

Personalizando o Ubuntu 9.04 com Screenlets

ArchLinux, uma distro de expressão aqui no VOL

  
Comentários
[1] Comentário enviado por piquen0 em 21/02/2011 - 15:23h

Muito bom o artigo, Parabéns!!!

[2] Comentário enviado por diegomatias em 21/02/2011 - 16:53h

Ola renato gostaria de lhe os Parabéns, este é um artigo realmente bacana que com certeza vai ajudar muitos leitores amantes dos sistemas distribuídos a montar suas próprias grades isso por que o Ourgrid surgiu justamente para isso facilitar a montagem visto que em outros ambientes esse fator torna-se muito complexo desde já meus parabéns...

[3] Comentário enviado por julio_hoffimann em 21/02/2011 - 19:53h

Oi Renato, parabéns!

Também trabalho com sistemas distribuidos, só que uso MPI. Fiquei curioso com o conceito de bag-of-task, da forma como foi definido no artigo, conheço por task farming. Você saberia explicar a diferença? Procurei as referências que você citou ao longo do texto, mas não encontrei.

Abraço!

[4] Comentário enviado por renato_smelo em 21/02/2011 - 21:10h

Olá julio_hoffimann,

Antes de tudo eu quero pedir perdão por ter esquecido de colocar as referências bibliograficas que usei, embora eu tenha feito algumas citações esqueci de adicionar o principal no artigo, mas aqui estão.


---------------------------------------------------------------------------------------------------------------

REFERÊNCIAS BIBLIOGRAFICAS

ANDRADE, N., COSTA, L., GERMÓGLIO, G., CIRNE, W. Peer-to-peer grid computing with the OurGrid Community.

CIRNE, W., BRASILEIRO, F. ANDRADE, N., COSTA, L. B. ANDRADE, A., NOVAIS, R., MOWBRAY, M. Labs of the World, Unite!!!, 2006.

DANTAS, Mario, Computação Distribuída de Alto Desempenho: Redes, Clusters e Grids Computacionais. Ed. Axcel Books do Brasil Ltda. 2005.

FREITAS, André Lage, FREITAS, Amadeu A., Greve, Fabíola, LiveOurGrid Estimulando o Uso de Grades Computacionais Através da e Experimentação. UFBA, 2006.

GRID COMPUTING, Grid Compoting Info Centre. Disponível em: <http://www.gridcomputing.com/> Acesso: 02 de outubro de 2010.

OURGRID, OurGrid. Disponível em: <http://www.ourgrid.org/> Acesso em: 02 de outubro de 2010.

SILVA, Benevid Felix da, TMRorR : um novo algoritmo de escalonamento para o OurGrid que combina o uso de informação e replicação Benevid Felix da Silva. – Porto Alegre, 2009.

SILVA, Hélio Antonio Miranda da, Implementação de um Mecanismo de Recuperação por Retorno para a ferramenta OurGrid, Porto Alegre: Programa de Pós-Graduação em Computação, 2007.

---------------------------------------------------------------------------------------------------------------

e respondendo a sua pergunta não sei te dizer a diferença entre BoT e task farming porque não conheço esta ultima, mas posso procurar e responder depois.

Aproveitando o bonde, Você desenvolve aplicações distribuídas? se sim, estou precisando de material a respeito ficaria muito feliz se você pudesse me ajudar com algum material.

Grato.

[5] Comentário enviado por julio_hoffimann em 22/02/2011 - 10:27h

Oi Renato! :-)

Não tem problemas, se você avisar ao Fábio, ele edita o artigo e coloca as referências. ;-) Vou procurar saber da diferença, se é que tem, daqueles dois termos. Qualquer coisa a gente se comunica.

Os programas que faço são mais ligados a engenharia, como eu disse uso MPI (Message Passing Interface), não sei se é de seu interesse, mas tem muitos livros clássicos sobre o assunto. O mais famoso talvez seja este http://www.amazon.com/Parallel-Programming-MPI-Peter-Pacheco/dp/1558603395/ref=sr_1_8?ie=UTF8&qid=12... Já li e gostei, mas sou novo nesse mundo e talvez existam livros bem melhores.

Abraço!

[6] Comentário enviado por renato_smelo em 22/02/2011 - 11:36h

Obrigado julio_hoffimann,

também sou novo no mundo de programação paralela e seguirei sua dica quanto ao livro, estou pensando em desenvolver algo voltado a tecnologias e-Gov ou renderização de imagens, mas ainda é tudo teoria.

Abraços.

[7] Comentário enviado por teafelix em 22/02/2011 - 14:55h

Parabéns pelo artigo Renato. Sobre Bag-of-Task e sua diferença entre Task Farming[1], no meu ponto de vista são iguais[2]. A diferença está talvez na arquitetura do sistema em que se situam. As bag-of-task, conceito utilizado não só pelo ourgrid, mas também presente em alguns outros trabalhos, são tarefas independentes pertencentes a um job, onde não existe dependência do fluxo de execução entre elas, o que no meu entendimento é o mesmo funcionamento do task-farming.


Referências:

[1] Link:http://www.ichec.ie/support/documentation/task_farming.php
[2] Link:http://www.google.com.br/url?sa=t&source=web&cd=2&ved=0CCcQFjAB&url=http%3A%2F%2Fwww.netlib.org%2Futk%2Fpeople%2FJackDongarra%2FPAPERS%2Fnetsolve-blackberry98.ps&rct=j&q=Adaptive%20Scheduling%20for%20Task%20Farming%20with%20Grid%20Middleware%20&ei=SfdjTfLXIcrcgQestJmnAg&usg=AFQjCNGbLxGmljRgd6rga3h_tidQsOfyWg&cad=rja

Benevid :z

[8] Comentário enviado por renato_smelo em 23/02/2011 - 09:55h

Valeu teafelix,

Já foi uma boa ajuda, concordo com você os conceitos são bem parecidos mesmo.
Até mais!

[9] Comentário enviado por luizvieira em 23/02/2011 - 10:16h

Excelente artigo!

No meu caso isso seria excelente para criação de rainbow tables e quebra de senha :-)

[ ]'s

[10] Comentário enviado por Thiagolacosta em 20/04/2012 - 09:10h

aqui nao funciona!! fica dando erro ao ver o status!

[11] Comentário enviado por renato_smelo em 20/04/2012 - 09:48h

Cola o erro aí, talvez eu possa ajudar.

[12] Comentário enviado por Thiagolacosta em 22/04/2012 - 17:28h

conseguiii.
era o erro,
a solução foi alterar o ip e o nome dos ervidor no /etc/hosts


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts