Download de arquivos

#!/usr/bin/env python3

# -*- coding: utf-8 -*-



from lxml import html

import requests



bpa_url = 'http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/';

bpa_page = requests.get(bpa_url)

bpa_html = html.fromstring(bpa_page.content)



# Itera sobre todos os links da página, seleciona os que possuem '.zip', baixa e salva num arquivo em disco 

for i in bpa_html.xpath('//a/@href'):

    if '.zip' in i:

        with open(i, 'wb') as bpa:

            bpa_file = requests.get(f'{bpa_url}/{i}')

            bpa.write(bpa_file.content)

 

from bs4 import BeautifulSoup

import requests



url = "http://dados.cvm.gov.br/dados/CIA_ABERTA/DOC/DFP/BPA/DADOS/";

r  = requests.get(url)

soup = BeautifulSoup(r.text, "html.parser")



#filtrar os links da pagina

for link in soup.find_all('a'):



    filename = link.get('href')



    #filtrar apenas extensao zip

    if 'zip' in filename:



        #construir a url completa

        source = url + filename



        #baixar o arquivo

        r2 = requests.get(source)



        #gravar o arquivo

        open(filename, 'wb').write(r2.content)

        

        print(filename + ' salvo')