Extraindo Dados de Sites da Internet pelo Terminal

Publicado por Mauricio Ferrari em 15/09/2020

[ Hits: 2.502 ]

Blog: https://github.com/mxnt10

 


Extraindo Dados de Sites da Internet pelo Terminal



Resolvi fazer essa dica porque é difícil encontrar um conteúdo tão simples como esse na internet. Com certeza é um recurso pouco usado e portanto, não muito divulgado.

Precisei fazer um script que acessasse um site e extraísse o conteúdo em forma de texto para depois de lá tirar as informações necessárias.

Devido à persistência, acabei encontrando um comando que supriu as necessidades e me possibilitou extrair o conteúdo que eu precisava com sucesso. O comando é o w3m.

Sua utilização é muito simples:

w3m -dump https://www.google.com.br/

Tem que usar com o parâmetro -dump, senão ele vai entrar no site pelo terminal, porque afinal, é para isso que é o w3m, assim como o links e links2.

Aí você faz a exportação dessa forma:

w3m -dump https://www.google.com.br/ >> conteudo

Agora vamos visualizar o arquivo conteúdo:

cat conteudo
Pesquisa Imagens Maps Play YouTube Notícias Gmail Drive Mais »
Histórico da Web | Configurações | Fazer login

                                    Google

             [                                                       ]    Pesquisa
                        [Pesquisa Google] [Estou com sorte]            avançada

                    Disponibilizado pelo Google em: English
   Soluções de publicidade     Soluções empresariais     Sobre o Google
                                 Google.com.br

                         © 2020 - Privacidade - Termos

E assim, fica mais uma dica.

Outras dicas deste autor

Instalando o Google Chrome no Slackware Current sem Slackbuilds

WhatsApp Desktop Aceitável no Deepin 20

Limpeza Extra no Slackware

Integrando AppImage no Slackware

Como empacotar programas compilados em DEB

Leitura recomendada

Entenda como funciona o controle de restrições no Linux

Usando rm para apagar arquivos esquisitos

Reduzindo o tamanho de arquivos PDF

Desativando e ativando o SWAP

find - Listar arquivos modificados nas últimas 24 horas

  

Comentários
[1] Comentário enviado por cizordj em 15/09/2020 - 14:04h

Muito interessante, parabéns pela dica!

[2] Comentário enviado por mauricio123 em 15/09/2020 - 19:48h


Valeu.

___________________________________________________________
[code]Conhecimento não se Leva para o Túmulo.
https://github.com/MauricioFerrari-NovaTrento [/code]



Contribuir com comentário