Coleta de dados da Web [RESOLVIDO]

BrunoMR
(usa Debian)

Enviado em 20/04/2017 - 16:25h

Olá,

Que linguagem de programação vocês usam para desenvolver software de coleta de dados públicos da WEB?
Alguém usa shell Script? No linux há algum comando que retorne a página web?, não sendo o wget.

Desde já, agradeço.

phoemur
(usa Debian)

Enviado em 15/07/2017 - 13:49h

Você também pode usar o curl, que é um comando baseado na libcurl do C e que é muito poderosa. Veja a documentação.

Agora na minha experiência Web Scraping ultimamente tem se tornado meio complicado pelo fato de grande parte das páginas implementarem a exibição de conteúdo dinâmico via AJAX, de forma que você teria que usar uma ferramenta que entenda javascript para poder receber o conteúdo. Quase que um browser completo mesmo.
As soluções mais básicas só funcionam com html puro.
A minha opção foi utilizar Python e tem me atendido a contento, porém é uma questão de preferência pessoal...