Obter dados da WEB e gerar arquivo .txt ou .xlsx automaticamente

Lwkas
(usa XUbuntu)

Enviado em 04/01/2019 - 21:20h

Pesquisei, pesquisei e pesquisei e acabei não achando uma solução plausível.......Estou criando um dashboard no Excel e obter dados da WEB pelo excel é um saco, sendo que além disso não funciona muito bem, tentei pensar em alguma solução e a mais viável seria obter o dado da web através de alguma linguagem e com isso gerar um arquivo .txt ou .xls pois assim eu consigo importar o dado para o excel, porém esse arquivo precisa estar sempre se atualizando e eu não sei como fazer isso....Poderiam me ajudar?

BiaMonteiro
(usa Arch Linux)

Enviado em 04/01/2019 - 22:23h

Use a biblioteca Curl, está disponível em diversas linguagens de programação.
Com ela, você poderá obter dados de sites da internet, bastando para isso desenvolver um script.

Lwkas
(usa XUbuntu)

Enviado em 05/01/2019 - 11:59h

Ela permite exportar os dados para um arquivo .txt?

Lwkas
(usa XUbuntu)

Enviado em 05/01/2019 - 12:05h

É de uma plataforma de loja virtual, Loja Integrada....

Como assim filtragem de HTML?

Mauriciodez
(usa Debian)

Enviado em 05/01/2019 - 13:02h

só fazer a filtragem dos dados
EX:

curl https://www.vivaolinux.com.br/ -o Viva_o_Linux.txt 

------------------------------------------| Linux User #621728 |-----------------------------------------

" Nem sempre é amigo aquele que te tira do buraco !!! ( Saddam Hussein )"

------------------------------------------| Linux User #621728 |-----------------------------------------

BiaMonteiro
(usa Arch Linux)

Enviado em 05/01/2019 - 13:03h

Quando implementei a Curl em um projeto meu, usei apenas suas funções para obter o código-fonte de um site. Desse código, você filtra o que interessa. Depois, você pode usar as funções nativas de sua linguagem de programação para escrever o resultado obtido com o Curl em um documento de texto .txt. Tais funções são às de I/O de files, em C++ são Fstreams, por exemplo.

phoemur
(usa Debian)

Enviado em 05/01/2019 - 14:07h

Olha, quem faz isso profissionalmente geralmente usa Python ou R...

Dá um google: Web scraping with python
Por exemplo:
https://realpython.com/python-web-scraping-practical-introduction/
https://www.dataquest.io/blog/web-scraping-beautifulsoup/

Exportar um xls ou arquivo csv com as duas linguagens é muito fácil também...
Geralmente o pessoal opta por uma delas para automatizar o processo de coleta de dados e também porque essas linguagens oferecem ferramentas de análise de dados muito poderosas...
Veja as bibliotecas Pandas, numpy, scikit-learn, entre outras.
Daí fica muito fácil jogar os dados para fazer análises estatísticas, regressões, machine learning, deep learning, etc...

______________________
https://github.com/phoemur

phoemur
(usa Debian)

Enviado em 05/01/2019 - 14:10h

Aqui por exemplo um projetinho meu para pegar os dados de ações da B3 do site www.fundamentus.com.br utilizando python3 e a biblioteca lxml:
http://github.com/phoemur/fundamentus/

______________________
https://github.com/phoemur

Lwkas
(usa XUbuntu)

Enviado em 24/01/2019 - 09:50h

Dessa maneira é possível manter a autenticação no site? Por exemplo caso tenha que faze login para obter os dados?