Melhor sistema de arquivos para muitos diretórios/arquivos

mmsweb
(usa Debian)

Enviado em 02/05/2013 - 20:59h

Olá pessoal!

Trabalho com hospedagem de lojas virtuais Magento. O Magento possúi MUITOS diretórios recursivos e um MONTE de arquivos php do sistema. A cerca de 4 meses praticamente tripliquei a quantidades de lojas hospedadas no servidor, e apesar de ter discos SAS de 15k RPM, estou tendo bastante lentidão na leitura/escrita do servidor. Por recomendação de um especialista do datacenter, estou utilizando XFS como sistemas de arquivo, porque seguindo ele é bastante rápido.

Minha dúvida é: no meu caso (onde as lojas possuem muitos arquivos (mais de 3mil arquivos cada loja, dentro de vários diretórios e subdiretórios), qual seria o melhor sistema de arquivos que eu posso utilizar para meu cenário?

Alguns pontos importantes:
1 - Preciso ter suporte a quota por usuário e ou grupo;
2 - As lojas não utilizam diretamente muita escrita no disco, mas cada loja possui um diretório de cache onde são gerados milhares de arquivos utilizados quando o cache php da loja está ativo;
3 - Não sei se influenciaria, mas preciso ter LVM;

Alguém me sugere algo?

Um abraço e obrigado!

stefaniobrunhara
(usa CentOS)

Enviado em 02/05/2013 - 23:13h

Não existe o melhor sistema de arquivos existe o que é melhor para a sua necessidade. A diferença entre eles são pequenas.

Você precisa avaliar é o funcionamento, você le ou escreve mais?
Seus arquivos são pequenos ou grandes? etc ..etc..


XFS é muito bom, ele tem uma boa performasse e gasta menos espaço.

Raisefs é mais rápido para criar arquivos menores depois vem ext3 e ext4

ext4 tem um performasse melhor para criação de arquivos maiores

Não posso falar sobre o LVM, mas acho que ele não é gargalo, se você tem um bom raid.

O raid melhora o desempenho da escrita ou da leitura, assim como o sistema de arquivo existe raids que são mais apropriados para a sua necessidade, raid 10 bão de escrita, raid 5 é bão de leitura, etc..

Não sei com é no linux, eu tenho uma aplicação desenvolvida em dotnet sobre o windows que armazenava as imagens dos contratos em um diretório, porém o numero de arquivos no diretório estouro a capacidade, isto causava uma lentidão enorme no meu sistema. Tive que passar todos meu contratos escaneados para o banco de dados. O banco ficou enorme, mas a performa mudou da agua para o vinho.

mmsweb
(usa Debian)

Enviado em 02/05/2013 - 23:19h

Boa noite, estefaniobrunha!

Obrigado pela sua resposta!

Então são arquivos pequenos mas são muitos! Não acredito que eu utilize muita escrita, pois uma vez gerado os varios arquivos de cache, demora um pouco até o mesmo ser limpo e gerar um novo. Eu não tenho muitas lojas rodando no servidor, cerca de umas 40. No inicio achei que o gargalo estivesse no Mysql (que está em outro servidor), mas contratei um DBA para fazer a otimização e banco de dados está um canhão. Também achei que o gargalo estivesse nos arquivos de log de acesso, então desabilitei todos os logs do apache mas não senti nenhuma melhoria de performance... =/

Mas obrigado pela dica! Vou continuar utilizando o XFS, estou configurando um novo servidor, com mais RAM e vou tentar jogar estas pastas de cache em memória.