Otimizando seu web server com Apache2 + Lighttpd

Solução que fez com que o desempenho (velocidade de resposta) do servidor web do Viva o Linux aumentasse em até 8 vezes. O Apache2 possui módulos indispensáveis para servir páginas dinâmicas, enquanto o Lighttpd é imbatível quando se trata de páginas estáticas. Então, por quê não combinar os dois?

[ Hits: 102.850 ]

Por: Fábio Berbert de Paula em 03/09/2009 | Blog: https://mestrefabio.com


Considerações iniciais



Antes de começar gostaria de esclarecer alguns pontos muito importantes:

1. A solução apresentada funcionou perfeitamente para o meu ambiente, porém não dou garantias que a mesma funcionará para o seu. O ambiente no caso é a junção do hardware que possuo, os softwares que executo e a quantidade de requisições feitas ao servidor.

2. No Linux existem diversas formas de se implementar uma solução. Esta foi a forma que encontrei para implementar a minha, podem existir maneiras mais "corretas" de se configurar os softwares aqui citados, mas esta me serviu e muito bem.

3. Este artigo foi criado de técnico para técnico, estou partindo do princípio que você já sabe configurar um servidor web Apache e que deseja otimizar o desempenho do seu servidor. Caso você ainda não se considere um analista avançado nesta área, pode acompanhar o artigo por curiosidade, mas neste caso, não tente repetir isto em casa, ou melhor, no trabalho. :)

4. Os procedimentos foram realizados em um servidor Debian Linux, porém sua execução deve ser bem sucedida em outras distribuições. Descobrir como instalar os pacotes e encontrar os arquivos de configuração em sua distro será de sua responsabilidade.

O problema

Nas últimas semanas os mais observadores devem ter notado que, em horários de pico, o VOL estava levando em média 8 segundos (as vezes bem mais) para carregar uma página. Bobo foi quem se conformou, pois não era sua conexão com a internet que estava lenta e sim o meu servidor web que estava "gargalado".

Passei alguns dias observando o servidor na expectativa de descobrir o que estava tornando a resposta do site tão lenta. Os possíveis pontos de gargalo levantados foram: I/O (o problema poderia ser a velocidade de acesso ao disco), load da máquina (será que os serviços estavam consumindo mais recursos do que eu dispunha de hardware?), MySQL (o site roda mais de 200 consultas por segundo em horário de pico, eis uma possibilidade concreta de gargalo) e por fim o próprio Apache, que neste ponto era o menor dos suspeitos, dada sua estabilidade e confiabilidade.

1. I/O (input/output ou entrada/saída em disco): o Apache faz leitura/escrita constante em disco, seja para ler o arquivo que o visitante do site está requisitando, seja para gravar arquivos de sessão no diretório temporário ou até mesmo para gravar arquivos enviados através de uploads de usuários. Se o tempo de I/O tivesse lento em horário de pico o problema estaria identificado. Foi então que criei um script em bash que criava, em fork, 500 arquivos, e depois os lia e apagava. Ao executar o script o tempo de resposta foi bem pequeno, o que me levou a concluir I/O não era o problema.

2. Load da máquina: o load, em horário de pico, variava entre 1.8 e 3.5, o que para um servidor bem movimentado pode ser considerado load médio/baixo. Para me certificar que o tempo de resposta do hardware estava bom, instalei serviços alternativos como o PostgreSQL e testei seu tempo de resposta, que era instantâneo. Se o hardware do servidor estivesse defasado, não só o servidor web ficaria lento, mas todos os demais serviços.

3. MySQL: eis meu próximo suspeito. Se o MySQL tivesse demorando para retornar uma query, o tempo de resposta do VOL ficaria preso à este delay, pois o conteúdo exibido no site está armazenado em banco de dados, o Apache só poderia retornar à requisição do usuário após a resposta do banco de dados. Então criei um script SQL com algumas das queries mais pesadas do código-fonte do VOL e quando o site estava num daqueles momentos de meditação (pensando, pensando, pensando e nada de responder), o executei no console do MySQL. O tempo de resposta foi bem menor que 1 segundo. Nada feito, próximo suspeito...

4. Apache: passei a testá-lo usando o telnet na porta 80, para começar o tempo de estabelecimento de conexão já era alto, o telnet ficava resmungando um tempo antes de me retornar o famoso "Escape character is '^]'". Ao obter essa resposta e digitar a requisição HTTP na munheca, outro belo tempo de resposta era obedecido. Eis o vilão da novela! Agora resta descobrir o motivo de seu gargalo.

Após muitas teorias e trocas de e-mails com outros técnicos, concluí que o problema estava na quantidade de requisições simultâneas feitas ao Apache. Pelo que pude comprovar, chega um momento em que o Apache se perde com a quantidade de childs gerados pelo módulo prefork, o que acaba consumindo toda (ou quase toda) memória RAM do servidor. Ao receber nova conexão (requisição de página), o Apache precisa liberar memória para criar uma nova thread para atender o visitante, porém em determinado momento ele acaba se perdendo e tem dificuldade em identificar quais processos estão inativos ou não. Ou seja, a fila de processos fica maior do que realmente é, algo parecido com a fila do INSS, muita gente para pouco atendente.

Ao reiniciar o Apache tudo voltava a funcionar aceitavelmente, mas por pouco tempo, rapidamente a memória era consumida novamente. E além disso, não fazia sentido passar o dia reiniciando o serviço, principalmente em horários de pico.

Ok, em horários de menor movimento o servidor funcionava muito bem, porém para solucionar o caso em horário de pico eu tinha duas alternativas: aumentar a memória RAM, o que requer um belo investimento, ou queimar a mufa e encontrar uma solução alternativa de software, e foi o que acabei fazendo.

O ambiente

O VOL, atualmente, serve de 7 a 8 milhões de páginas por mês. Muitos devem pensar que para suportar um site com tal número de acessos (que eu considero alto) seja necessário um hardware pra lá de possante. Que nada! Atualmente alugo um servidor dedicado em um datacenter nos EUA com a seguinte configuração:
  • Processador Intel Dual Core 2.00 Ghz com 4096 de cache;
  • 2GB de memória RAM;
  • HD SCSI.

Não será surpresa se alguns de vocês possuir desktops com configurações mais poderosas. :)

Mas enfim, isso serve para provar que, quando bem configurado, pode-se fazer mágica com Linux.

    Próxima página

Páginas do artigo
   1. Considerações iniciais
   2. Apache2 vs Lighttpd
   3. Controle de cache no cliente: tags expires e etag
   4. Instalando e configurando o Lighttpd
   5. Integrando Apache2 com Lighttpd
   6. Testando a configuração
   7. Resultados e conclusão
Outros artigos deste autor

Organizando projetos com a classe FastTemplate (parte 1)

Acessando disquetes no Linux

Criando um contador de downloads com PHP e MySQL

Transferindo arquivos com o rsync

Implementando um tradutor de línguas no seu web site

Leitura recomendada

Resolvendo problemas na rede do Slackware

Audacity - Editando áudios sem instalação

TinyCore Linux - Gerenciando Usuários

FluxBox com sombras e transparência real (translucência)

Android - Emulando, Instalando e Removendo Aplicativos APK

  
Comentários
[1] Comentário enviado por elgio em 03/09/2009 - 12:00h

Muito bom Fábio.

O legal desta tua solução é a comprovação de que as vezes não basta esta ou aquela solução. Em alguns casos se usa AMBAS. O melhor das duas. Muito bom.

[2] Comentário enviado por marcelomortificy em 03/09/2009 - 12:11h

Muito bom!!!!


Parabéns Fábio.

[3] Comentário enviado por marcelomendes em 03/09/2009 - 12:15h

Muito bom Fábio, parabéns!

[4] Comentário enviado por TheHawk em 03/09/2009 - 13:13h

Geralmente não comento muito aqui no VOL..... mas essa aqui eu fiz questão de deixar o comentario.... tá de parabens.... muito boa solução, otimizou bem o negocio.... trabalho com provedor wireless e aqui estou usando o ThunderCache, quando estava usando o apache para servidor os arquivos para o thunder estava tendo uma lentidão terrivel.... depois de mudar o servidor web parea o lighttpd foi dá agua para o vinho, extremamente rapido e leve.... o light é otimo...... mais uma vez parabens pela solução, até mais.

[5] Comentário enviado por cesar em 03/09/2009 - 13:45h

Boa!

[]'s

[6] Comentário enviado por cleberjsantos em 03/09/2009 - 13:59h

Opa Fábio,

Boa.... ;) E então, eu estava testando o Light também, mas me deparei com alguns problemas, talvez por ainda não o conhecer diretamente claro! Mas a idéia era basicamente abandonar o Apache e partir para a combinação Lighttpd + Varnish, hoje uso Apache + Varnish, no qual já dá um adianto tremendo, então imagina o Light + Varnish ;)

Bem, vou documentar minha experiência, e com base nela fazer um How-to aqui também, neste caso estou falando de usar Zope/Plone com Light + Varnish, se depois desejar podemos trocar figurinhas quanto a otimizações ;)

Cleber J Santos
www.cleberjsantos.com.br

[7] Comentário enviado por foguinho.peruca em 03/09/2009 - 18:09h

Olá!

Boa solução! Vou tentar implementar uma semalhante, porém eu o uso a combinação do tomcat (para o java) + apache (redirecionamento na rede). acho que vou dividir a carga do tomcat com o lighttpd e ver no que da... ^^''

Jeff

[8] Comentário enviado por removido em 03/09/2009 - 21:03h

Parabéns chefito.... Será que seu trabalho vai ganhar uma camiseta redbul ?????
rs...rs...rs...rs...

[9] Comentário enviado por isaque_alves em 03/09/2009 - 23:09h

Cara, essa solução é perfeita...
vo testar assim que chegar em casa no meu servidor de testes e demonstações...
valeu por compartilhar o conhecimento!!
E é isso!!

Viva o Software Livre!!!
Viva o Linux!!

[10] Comentário enviado por maran em 04/09/2009 - 12:30h

Show!

[11] Comentário enviado por junior em 04/09/2009 - 15:55h

Já dizia o poeta: Fodástico!

[12] Comentário enviado por pinduvoz em 04/09/2009 - 21:30h

O site realmente ganhou agilidade.

Parabéns!

[13] Comentário enviado por pedro-filho em 06/09/2009 - 02:56h

tem como configurar o expires no squid ?????

obrigado....

[14] Comentário enviado por reideer em 07/09/2009 - 21:40h

Boa noite.
Eu já testei esta solução a algum tempo, porém precisava de virtualhosts e mais algumas coisas, no final das contas se tornou inviável.

Gostaria de Saber se o Vol utiliza algum sistema de Cache, e qual?

[15] Comentário enviado por franciscosouza em 09/09/2009 - 08:16h

Sensacional, parabéns pelo artigo! ;D

[16] Comentário enviado por removido em 09/09/2009 - 20:31h

Boa noite.

Fábio, você poderia corrigir o exemplo de integração do Apache com Lighttpd na 'Versão para impressora'. O exemplo de configuração para integrar os dois Web Server é exibido da seguinte forma:

<img src="http://img.vivaolinux.com.br/imagens/logotipo01.png">
Para:
<img src="http://img.vivaolinux.com.br/imagens/logotipo01.png">

Deveria ser:

<img src="/imagens/logotipo01.png">
Para:
<img src="http://img.vivaolinux.com.br/imagens/logotipo01.png">



[17] Comentário enviado por guilhermecunha em 10/09/2009 - 08:43h

Muito legal, concerteza me lembrarei deste artigo quando administrar um site com muitos acessos...

Abraço!

Guilherme Cunha
http://www.guilhermecunha.com.br

[18] Comentário enviado por removido em 20/11/2009 - 15:59h

Fabio,

Estou com a seguinte situação e gostaria de uma opinião sua.

o hardware é o seguinte.

DELL 1950

2 processadores quadcore e 8gb de RAM
2 discos SAS em RAID 1

o sistema que esta hospedado nele é TOMCAT e POSTGRES 8.3. O Load average dele é de uma média de 3.5 a 4, tenho uma média de 250 conexões simultãneas e acho que esta ficando cada vez mais lento.

Tentei uma solução de proxy reverso com o apache mais a aplicação fica com problemas no jsession, ai vem a minha pergunta se eu colocasse o lighttpd na frente junto com o apache para separar o conteudo statico melhoraria????

abraços

Filipe Mendonça

[19] Comentário enviado por removido em 20/11/2009 - 20:25h

Ótimo artigo Fábio.
Intressante essa implementação para o site.

[]'s

[20] Comentário enviado por fabio em 21/11/2009 - 22:26h

Olá Filipe,

No caso você não precisaria do Apache, apenas o Lighttpd com Tomcat.

Alguma processo está pesando demais aí, essa máquina não pode ter 3/4 de load com apenas 250 acessos simultâneos.

PS: O Tomcat por natureza é lento e consome muito hardware, pelo menos era assim quando o utilizei a 4 ou 5 anos atrás, não sei como é agora.

Um abraço.

[21] Comentário enviado por Holmes em 16/12/2009 - 22:08h

muito interessante, vlw, Placebo..............gostei das informações...........

[22] Comentário enviado por ferreirajr630 em 26/01/2010 - 09:14h

Paraben otimo mas otimo mesmo esse artigo esparo que venha mas artigos na mesma categoria de melhoria de navegação

[23] Comentário enviado por dolivervl em 09/03/2010 - 20:05h

Muito bom mesmo, Parabéns !!!

[24] Comentário enviado por elderjmp em 30/08/2010 - 00:12h

Fábio,

Parabéns pelo artigo, muito bom.

Pq usar o mod_proxy do Apache para direcionar as requisições de conteúdo estático ao invés de requisitar diretamente ao Lighttpd, passando o caminho na porta 81, no arquivo index.php (<img src="http://img.vivaolinux.com.br:81/imagens/logotipo01.png">)?

E usando o Debian aqui, ocorreu o erro "client denied by server configuration: proxy:http://...". O mod_proxy só funcionou depois de habilitar no arquivo /etc/apache2/mods-available/proxy.conf a diretiva "Allow from all" (Default é "Deny for all"). Algum problema em permitir para todos?

Abraço

[25] Comentário enviado por fabio em 30/08/2010 - 00:34h

Olá Elder,

Passar o caminho diretamente no código-fonte ao invés de usar o mod_proxy é viável quando seu site é composto por apenas alguns arquivos, mas no caso do VOL, ele possui milhares de links, então é mais fácil alterar somente o apache.conf a centenas de arquivos.

O allow from all é tranquilo de usar, mas sugiro que dê um options -indexes para evitar que possam acessar a lista de arquivos dos diretórios.

[]'s

[26] Comentário enviado por julianjedi em 16/09/2010 - 13:02h

Nossa .. muito bom mesmo fabio, quando li no excerpt do artigo pensei ateh q vc ia fazer um monte de remendo ... mas ficou muito simples de entender e os resultados foram sensacionais ... com certeza é uma grande contribuição para a comunidade...

Já dizia o poeta: Fodástico![1]

[27] Comentário enviado por dolivervl em 08/10/2010 - 23:57h

Fábio uma coisa que quero saber de vc é o seguinte, compactação com o apache, já usou ? qual sua opnião sobre isso? Uso no proxy onde trabalho e reduziou e muito o consumo de banda e não aumento consideravelmente o uso de CPU do servidor proxy.

[28] Comentário enviado por removido em 09/11/2010 - 08:35h

Sabia que o IIS da o mesmo problema e que é ainda pior que no apache?

[29] Comentário enviado por qxada07 em 24/03/2011 - 09:13h

Um artigo muito bom... Parabéns.....

Sempre achei o Apache muuuuito ferrado porém estes 2 integrados não tem para ninguém....

[30] Comentário enviado por SmasherBomb em 10/04/2011 - 13:43h

Parabéns...artigo muito bom !!

[31] Comentário enviado por fabgcruz em 15/04/2011 - 09:15h

Muito bacana o artigo .... maravilha !

[32] Comentário enviado por ederrb em 06/05/2011 - 11:17h

Fábio(e quem mais puder ajudar), tenho exatamente essa máquina: Intel Xeon E3110 Woldfale (2 cores x 3.0 GHz), 8GB Ram e 1,5TB de disco. Nessa maquina rodo um servidor de armazenamento de áudio(tal como o 4shared) sendo que com algumas implementações a mais e alguns diferenciais(vide www.suamusica.com.br ). Na hora do pico chega a ter mais de 200 downloads simultaneos. Estes downloads são feitos através de readfile() no php(principalmente para que os visitantes não tenham conhecimento sobre o caminho dos arquivos p/ download). Isso deixa a máquina arrastando-se, já cheguei a registrar load de 95 e a solução que vi foi reiniciar o httpd acarretando na perda de todas as conexões, caso eu não restarte o httpd a maquina trava geral. Ouvi dizer que o lighthttpd tem uma extensão X-LIGHTTPD-send-file que dispensaria o uso de readfile(), assim o php nao faria o trabalho de "soltar o download na tela" e pelo que vejo nos processos é justamente ele quem está consumindo todo o hardware da maquina. Pela sua experiência, seria viável instalar o lighthttpd com essa configuração passada por você + essa extensão? Tentei usar a extensão na minha configuração atual com apache mas nao obtive êxito. Desculpe-me pelo texto demasiado longo, vi aqui uma oportunidade de resolver este problema que vem persistindo há quase um mes. Agradeço desde já ! Abraços.

[33] Comentário enviado por samuelspsd em 16/01/2012 - 17:24h

Eu teria algumas dúvidas em relação a este artigo, ainda está aberto para discussão? Obrigado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts