Extraindo Dados de Sites da Internet pelo Terminal

Publicado por Mauricio Ferrari em 15/09/2020

[ Hits: 999 ]

Blog: https://github.com/MauricioFerrari-NovaTrento

 


Extraindo Dados de Sites da Internet pelo Terminal



Resolvi fazer essa dica porque é difícil encontrar um conteúdo tão simples como esse na internet. Com certeza é um recurso pouco usado e portanto, não muito divulgado.

Precisei fazer um script que acessasse um site e extraísse o conteúdo em forma de texto para depois de lá tirar as informações necessárias.

Devido à persistência, acabei encontrando um comando que supriu as necessidades e me possibilitou extrair o conteúdo que eu precisava com sucesso. O comando é o w3m.

Sua utilização é muito simples:

w3m -dump https://www.google.com.br/

Tem que usar com o parâmetro -dump, senão ele vai entrar no site pelo terminal, porque afinal, é para isso que é o w3m, assim como o links e links2.

Aí você faz a exportação dessa forma:

w3m -dump https://www.google.com.br/ >> conteudo

Agora vamos visualizar o arquivo conteúdo:

cat conteudo
Pesquisa Imagens Maps Play YouTube Notícias Gmail Drive Mais »
Histórico da Web | Configurações | Fazer login

                                    Google

             [                                                       ]    Pesquisa
                        [Pesquisa Google] [Estou com sorte]            avançada

                    Disponibilizado pelo Google em: English
   Soluções de publicidade     Soluções empresariais     Sobre o Google
                                 Google.com.br

                         © 2020 - Privacidade - Termos

E assim, fica mais uma dica.

Outras dicas deste autor

PhotoQT no Debian, Ubuntu, Linux Mint e derivados

Player Nulloy no Ubuntu 20.04, Linux Mint 20 e derivações mais atuais - atualização

Comando CUT usando delimitador TAB

Instalando o EasyMp3Gain no Deepin 20

Instalando o UMPlayer no Deepin 20

Leitura recomendada

Programando seu Linux para desligar

Gravar imagens ISO no DVD, via linha de comando

Sistema de arquivos, disco rígido e memória do seu Linux

Docker Exec

Criando uma árvore de diretórios com o mkdir

  

Comentários
[1] Comentário enviado por cizordj em 15/09/2020 - 14:04h

Muito interessante, parabéns pela dica!

[2] Comentário enviado por mauricio123 em 15/09/2020 - 19:48h


Valeu.

___________________________________________________________
[code]Conhecimento não se Leva para o Túmulo.
https://github.com/MauricioFerrari-NovaTrento [/code]



Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts