Deduplicação com LessFS

Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.

[ Hits: 17.660 ]

Por: Ricardo Lino Olonca em 13/10/2011


Configuração e uso



Execute o comando:

# mklessfs -fc /etc/lessfs.cfg

Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.

# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs


Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.

Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
  • COMPRESSION=qlz - O padrão
  • COMPRESSION=none - Sem compactação
  • COMPRESSION=bzip - Compactação usando Bzip.

Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.

Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Linux: Deduplicação com LessFS

Conclusão

O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.

Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.

Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.

Página anterior    

Páginas do artigo
   1. Introdução
   2. Configuração e uso
Outros artigos deste autor

Entendendo TCP/IP (Parte 5) - Portas TCP/UDP

Problemas encontrados na adoção do IPv6

Entendendo TCP/IP (parte 4) - DHCP

Entendendo TCP/IP (Parte 3) - Resolução de nomes

Entendendo TCP/IP (parte 2) - Endereços IP

Leitura recomendada

RAID 1 em Debian com sistema já instalado

Montando Volumes no Docker

Recuperando arquivos deletados em partições ReiserFS

Gerenciando o HD com o fdisk

Inserindo o recurso de lixeira no Samba

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts