Removendo linhas duplicadas não-consecutivas

Publicado por Sandro Marcell em 20/10/2009

[ Hits: 14.029 ]

Blog: http://sanmarcell.wordpress.com

 


Removendo linhas duplicadas não-consecutivas



Geralmente utilizo o comando sort para remover linhas duplicadas de um arquivo:

sort -o output -u input

O problema era que em alguns casos as linhas não poderiam ser ordenadas, mas o sort (obviamente!) as ordenava. Então acabei resolvendo o meu problema assim:

perl -ne '$i{"$_"}++ || print' < input > output

O mesmo pode ser obtido via awk:

awk '!i[$0]++' < input > output

Ou:

awk '!($0 in i) {i[$0] ; print}' < input > output

Sendo "input" o arquivo de entrada e "output" o de saída.

Falou! ;)

Outras dicas deste autor

Wget: Verificando existência de arquivo remoto

Shell - operações envolvendo números em ponto flutuante

Habilitando correção ortográfica no Vim

Declarando constantes em shell scripts

php-meter: Medidor que mostra o consumo de banda no link de internet

Leitura recomendada

O comando lsof

O comando sl

Mais opções do comando cat

Como acertar o relógio do Linux via console

Compilação rápida!

  

Comentários
[1] Comentário enviado por ferrarezux em 29/10/2012 - 12:37h

Valeu cara! Me ajudou demais aqui.



Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts