Coleta de dados da Web [RESOLVIDO]

1. Coleta de dados da Web [RESOLVIDO]

Bruno Molina
BrunoMR

(usa Debian)

Enviado em 20/04/2017 - 16:25h

Olá,

Que linguagem de programação vocês usam para desenvolver software de coleta de dados públicos da WEB?
Alguém usa shell Script? No linux há algum comando que retorne a página web?, não sendo o wget.

Desde já, agradeço.


  


2. MELHOR RESPOSTA

Jean César
dark777

(usa Slackware)

Enviado em 15/07/2017 - 04:47h

nao tem uma especifica vc pode fazer isso em C,C++, PHP, Python, Ruby, Perl, pode usar comandos dos sistemas operacionais em conjunto com as linguagens e por ai vai... depende muito dos seus objetivos e para que plataforma vc vai desenvolve ro script eu recomendariavc usar C,Python,Perl e Ruby puro.....

vc pode usar o lynix

3. Re: Coleta de dados da Web [RESOLVIDO]

Fernando
phoemur

(usa FreeBSD)

Enviado em 15/07/2017 - 13:49h

Você também pode usar o curl, que é um comando baseado na libcurl do C e que é muito poderosa. Veja a documentação.

Agora na minha experiência Web Scraping ultimamente tem se tornado meio complicado pelo fato de grande parte das páginas implementarem a exibição de conteúdo dinâmico via AJAX, de forma que você teria que usar uma ferramenta que entenda javascript para poder receber o conteúdo. Quase que um browser completo mesmo.
As soluções mais básicas só funcionam com html puro.
A minha opção foi utilizar Python e tem me atendido a contento, porém é uma questão de preferência pessoal...









Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts