Deduplicação com LessFS

Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.

[ Hits: 19.063 ]

Por: Ricardo Lino Olonca em 13/10/2011


Configuração e uso



Execute o comando:

# mklessfs -fc /etc/lessfs.cfg

Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.

# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs


Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.

Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
  • COMPRESSION=qlz - O padrão
  • COMPRESSION=none - Sem compactação
  • COMPRESSION=bzip - Compactação usando Bzip.

Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.

Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Linux: Deduplicação com LessFS

Conclusão

O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.

Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.

Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.

Página anterior    

Páginas do artigo
   1. Introdução
   2. Configuração e uso
Outros artigos deste autor

O fim está próximo

Entendendo o TCP/IP

Entendendo TCP/IP (Parte 6) - Firewall

Entendendo TCP/IP (parte 2) - Endereços IP

Problemas encontrados na adoção do IPv6

Leitura recomendada

Stripe no LVM

Ubuntu com Criptografia Total + Snapper

Desvendando os filesystems

Aplicações em 32 bits para seu Ubuntu 64 bits (Feisty Fawn)

Particionando o HD sem perder os dados utilizando o FIPS

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts