Weta Digital + Linux = Avatar - Um case de sucesso

Eu estava navegando e lendo notícias do mundo Linux e vi no site linuxsolutions.com.br uma notícia sobre os efeitos especiais tão elogiados do Avatar. Com uma pulga atrás da orelha, comecei a investigar as fontes das informações e constatei que realmente os números não estavam errados e que a grandiosidade tornava-se um dos maiores cases de sucesso Linux que eu já tive notícia.

[ Hits: 11.431 ]

Por: Daniel Vieira Dias em 03/03/2010


Paul Gunn fala na LCA2010



Muitos acham que James Cameron montou um parque de equipamentos especialmente para o filme Avatar, mas na realidade foram utilizados os recursos do data center da Weta Digital da cidade de Wellington, Nova Zelândia, onde outros filmes de sucesso tiveram seus efeitos realizados, como Senhor do Anéis, Eragon, Quarteto Fantástico, X-Men, Distrito 9, Jumper, O Dia em que a Terra parou, entre outros.

Veja mais em: http://www.wetafx.co.nz/features

Durante a LCA2010 em Wellington, na Nova Zelândia, no segundo dia da conferência, dia 19 de janeiro de 2010, Paul Gunn - Datacenter Administrator da Weta Digital proferiu uma palestra de 45 minutos sobre a escalada da complexidade do efeitos especiais nos filmes e sua enorme demanda de expansão em infraestrutura no datacenter da Weta.

Durante a palestra Paul deu números a estrutura, chamada de farm render:
  • Mais de 4.000 HP blade com 4 ou 8 processadores, totalizando mais de 35.000 núcleos de processamento;
  • A matriz de máquinas é interligada por rede 10Gbps em fibra óptica;
  • Um total de mais de 2 PetaBytes de capacidade de armazenamento total de dados (3 peta se contarmos a redundância);
  • Um total de 104 TeraBytes de memória RAM;
  • Todos estes servidores rodando Ubuntu;
  • 90% das estações de trabalho rodando Ubuntu Linux;
  • 10% das estações de trabalho rodando Windows por conta do Adobe Photoshop.

Quem esteve presente neste evento foi Dustin Kirkland, core developer do Ubuntu Server, que almoçou com Paul Gunn e pode coletar mais curiosidades sobre esta estrutura toda.

Segundo Paul esta estrutura em outubro 2000 tinha apenas 13 máquinas com dois processadores de 733MHz e interligadas em rede 100Mbps. Paul Gunn revelou ainda que apesar de chamar os atuais servidores da "farm render" de Ubuntu Servers, na realidade foi utilizada uma única imagem ISO do mesmo Ubuntu Desktop utilizado nas estações de trabalho dos artistas.

Mais detalhes do Datacenter

Em entrevista concedida a Jim Ericson do Information Management Blogs (veja aqui e acolá), Paul Gunn detalhou melhor o datacenter.

Foi criada uma sala de water cooler para resfriar as máquinas (veja imagens no 1° link acima), onde a água é resfriada e levada aos racks do datacenter, onde foram colocados radiadores a frente das máquinas e o ar quente é sugado para os radiadores e conduzidos para fora do datacenter. Com este processo a temperatura dos núcleos foram mantidas constantes e o ambiente pode ser mantido em temperaturas mais quentes que os habituais datacenters com ar-condicionado.

Este sistema, junto com uma boa gerência de energia, que em boa parte do tempo era gerada por transformadores DC, resultou em uma economia energética de 40%.
Linux: Weta Digital+Linux=Avatar - Um case de sucesso
Segundo Paul, a virtualização não é o único caminho mais eficiente para sistemas de computação paralela, pois no caso da Weta, trata-se de uma única tarefa enorme e a virtualização só geraria atraso. O software da Pixar gera uma grande lista hierárquica de milhares de tarefas em sequência criteriosa para cada núcleo de acordo com a sua ociosidade, fazendo com que praticamente todos os núcleos trabalhassem o tempo todo perto de sua capacidade máxima. Mesmo assim algumas cenas levaram mais de 48 horas para serem renderizadas. No auge do Avatar, a fila chegou a mais de 10.000 jobs e um número estimado de 1,3 para 1,4 milhões as tarefas por dia.

Os efeitos visuais e renderização do filme Avatar foram feitos pelos softwares 3D Maya e RenderMan da Pixar.

Curiosidades dos efeitos de Avatar

Os efeitos especiais mais elogiados foram a qualidade na criação dos nativos e a filmagem em 3D.

Diferente dos filmes feitos antes de Avatar, onde o mais próximo do real era a captura da imagem do ator e alguns movimentos e estes inseridos em um modelos 3D, renderizado e animado digitalmente, em Avatar apenas o morph e textura foram criados pelo computador, os movimentos e expressões faciais foram capturados diretamente dos atores que protagonizaram todas as cenas dos Navis.

Os atores receberam roupas especiais sinalizadas, perucas sinalizadas, receberem também marcas no rosto e câmeras para filmar as expressões faciais. Durante as filmagens, os softwares captavam estas informações e transformavam o ator de carne e osso em um Navi em tempo real, dando a James Cameron o resultado da tomada no formato final da cena.
Já para o 3D, James descartou o antigo efeito composto por filtros azul e vermelho, pois estes além de perder qualidade de cores, produziam efeitos colaterais indesejados nos espectadores, como náuseas e dores de cabeça.

James usou uma câmera mais compacta e leve e com tecnologia de lentes polarizadas em ângulos diferentes. Uma lente polarizada não afeta nem a qualidade visual nem as cores, geram imagens limpas e coloridas. Ao serem projetas cada frame esquerdo é projetado 3 vezes e o direito 3 vezes no mesmo tempo de um frame analógico padrão, gerando uma frequência total de 144 frames/segundo. O projetor tem uma tela LCD transparente que polariza a imagem de acordo com cada frame projetado, esquerdo ou direito, e o óculos do espectador só enxerga um olho por vez. Como a frequência é muito alta, não percebemos esta alternância e as imagens se fundem em 3D em nosso cérebro.

Agora, eu espero que o Avatar 2 e 3 mantenha a mesma qualidade do primeiro, ou quem sabe algo mais inovador ainda apareça.

   

Páginas do artigo
   1. Paul Gunn fala na LCA2010
Outros artigos deste autor
Nenhum artigo encontrado.
Leitura recomendada

Docker + Cluster DRBD + SQL Server - Database as a Service Utilizando Volumes Replicados

Evite desgaste diário de seus CDs

Criando vídeo com características de DVD

LiveCDs versus D.Q.R.E.Cs

Instalando Redmine 2.x no Debian Wheezy com Apache Passenger

  
Comentários
[1] Comentário enviado por ulisses_c em 03/03/2010 - 07:00h

Cara muito legal a informação parabéns. eu so gostaria de saber como fazer render no Blender usando a GPU sei que não vou ter o mesmo desempenho da Weta mas acredito que será muito superior ao do meu P4 3.0 HT (obs. minha placa é uma Geforce 9400 GT)

[2] Comentário enviado por valterrezendeeng em 03/03/2010 - 08:04h

Parabens pelo Artigo

Curiosidades muito interessantes.


[3] Comentário enviado por dvdias em 03/03/2010 - 09:54h

Caro ulisses_c, vou ficar te devendo sobre como fazer o render que tanto quer, deixando para o pessoal do VOL, mas quanto a Weta/Avatar, foi utilizado a NVIDIA ® Tesla S1070 GPU-Based no farm render.

[4] Comentário enviado por dvdias em 03/03/2010 - 09:56h

Ops... esqueci do link: http://www.nvidia.com/object/wetadigital_avatar.html

[5] Comentário enviado por cleomarls em 03/03/2010 - 12:08h

Che, pra nós linuxeiros é muito bom saber isso.

[6] Comentário enviado por cleysinhonv em 03/03/2010 - 12:28h

Olá,

Bela abordagem, seu artigo deverá ter o mesmo sucesso que o filme. Parabéns!

[7] Comentário enviado por gedarius em 03/03/2010 - 13:52h

Exelente artigo rapaz... também tinha essas curiosidades hehe.. Parabéns!!!

[8] Comentário enviado por dbahiaz em 03/03/2010 - 18:35h

Deixa ver se entendi, quer dizer que pelas contas das suas informações , supondo que:

4.000 HP blade rodando x R$ 629,00 Windows 7 Professional Brazilian DVD Microsoft + R$ 2.156,45 Adobe Photoshop.

Total = R$ 11.141.800,00

Economia de 90% usando Ubuntu = R$ 10.027.620,00

É isso mesmo?

Sem contar na estabilidade,desempenho e segurança proporcionada.

Gostei rsss

Ps: preços coletados na internet, pode variar dependendo da loja.

[9] Comentário enviado por dvdias em 04/03/2010 - 08:27h

Não é isso dbahiaz, os mais de 4000 servidores HP blades rodam todos Ubuntu e a referência dos 90% Linux e 10% windows são das estaçãos de trabalho dos artistas, progamadores e funcionários, mas a quantidade de desktops não foi informada.

Com relação ao Windows 7 Professional BR não acredito que tenha suporte nativo para compor uma matriz 4000 máquinas em computação paralela, isso porque, todos nós sabemos que a prática da MS é sempre "capar" o sistema em versões mais básicas, acho que a conta deve ser feita com no mínimo 4000 versões de Windows server 2008 ou 2003 (versão disponível na época da implantação em aprox. 2006 quando Cameron iniciou o filme).

Consultando o site da Brasoftware achei: WINDOWS SERVER STANDARD 2008 32-BIT/X64 INGLES DVD 10 CLT por R$ 3.439,00 isso vezes 400 (10 CLT) dá um total de R$ 1.375.600,00 não chega a 0,2% do orçamento do filme de US$500milhões. Isso demonstra que nem sempre a economia gerada pelo Linux é significativa, portanto, para nossa felicidade, a adoção do Ubuntu foi realmente pela qualidade técnica, versatilidade, customização, leveza e desempenho. Alguém duvida disso? ;)

[10] Comentário enviado por stremer em 04/03/2010 - 20:18h

amigo...

só faltou a fonte...

até onde pesquisei no google fala-se muito do ubuntu em sites brasileiros... mas fora do brasil não achei nada... o que se fala é que o farm é RED HAT!

Um dos links mais legais é esse:
http://www.junauza.com/2010/01/technology-behind-avatar-movie.html

É ponto para o linux de qualquer jeito mas acho que a estabilidade do RED HAT e até mesmo sua fama, é muito superior ao ubuntu....

Sem dizer que é uma empresa muito mais consolidada no mundo linux...

mas como não achei nada OFICIAL... aguardo curioso as fontes!

abs

[11] Comentário enviado por anonymous em 05/03/2010 - 09:02h

Excelente artigo! Parabéns!

[12] Comentário enviado por dvdias em 05/03/2010 - 14:56h

Caro stremer, passei mais de 5 dias pesquisando, lendo, traduzindo e comparando inúmeros artigos e entrevistas do Paul Gunn, sendo que a grande maioria eram parecidas (assim como parte de meu artigo tb) e com claros copy/pastes das entrevistas de Jim Ericison do Information Management Blogs (nos links Veja Aqui e Acolá logo acima). Estas entrevistas forma dadas por Paul Gunn nos dias 21/12/2009 e 29/12/2009, bem anteriores a todos os artigos e citaçãoes que encontrei na net (não pesquisei apenas no google, pois não são os donos das informações).

O que mais me chamou a atenção foi a palestra proferida pelo próprio Paul Gunn na LCA2010 veja: http://sysadmin.miniconf.org/programme10.html e nela estava presente Dustin Kirkland, Core Developer do Ubuntu Server, quem conseguiu a honra de almoçar com Paul Gunn, onde ouviu do próprio Paul que os servidores eram todos Ubuntu Desktop e não Server. ( Faltou o link no artigo, veja: http://blog.dustinkirkland.com/2010/01/lca2010-day-2-wellington-new-zealand.html )

Também vi vários artigos falando do RedHat, mas a grande maioria eram claramente suposições. Li também uma notícia onde Paul Gunn desmentia sobre o uso do RedHat, mas não lembro link.

[13] Comentário enviado por fhespanhol em 06/03/2010 - 07:00h

O que você escreveu confirma o que escrevi em meu artigo O futuro e o Linux que publiquei aquí no VOL. O Linux está ganhando força não só por ser gratuito, mas por estar se tornando um sistema estável e funcional. Tanto que já existem projetos para usar o Linux como S.O de aparelhos eletrodomésticos como televisores, Home Theaters e outros a exemplo dos Smart Phones onde o Linux domina já há alguns anos. Eu mesmo uso Ubuntu em meu PC há quase um ano e encontrei boas alternativas aos programas para Windows que suprem minhas necessidades como usuário de nível médio sem problemas e o melhor sem precisar pagar por isto.

[14] Comentário enviado por stremer em 06/03/2010 - 14:05h

só agora vi o video do youtube (de casa) pois na empresa é bloqueado.
Parece ser um desktop windows... mas não da para identificar 100%.

talvez seja um KDE, vejam aqui:
http://www.viviendolinux.com/en/Linux/avatar-es-posible-gracias-a-gnulinux.html

[15] Comentário enviado por julianoas em 07/03/2010 - 21:50h

Rapaz excelente artigo, gostei mesmo. Já conhecia a estrutura de renderização que a pixar adotou inicialmente que foram servidores em cluster e estações MAC... Mas agora a WETA atingiu um patamar de excelência inalcançável na minha opinião. Linux é o que há de melhor e mais poderoso e está se tornando cada vez melhor. Esse tipo de coisa não é divulgada por que convém para grandes corporações como Adobe, Microsoft e Corel. Portanto fico muito grato pela sua contribuição, será de muita utilidade e motivo maior ainda de orgulho por adotar definitivamente o Linux (Ubuntu).

Muito Obrigado!


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts