Problemas com wget

1. Problemas com wget

Carlos Eduardo de Laia Santos
carlosesantos

(usa Linux Mint)

Enviado em 20/06/2013 - 14:54h

Boa tarde a todos. Sou novo neste fórum, e pela primeira vez na vida, estou trabalhando com Shell Script, gostaria de saber se alguém poderia me ajudar.

O problema é o seguinte: Eu tenho um link de um site, que é o http://www.zeus.iag.usp.br/ftp/data/
e neste link quando eu entro, é solicitado um usuário e senha, que me leva a uma página ftp. O que eu estou tentando fazer é baixar as informações deste site, sendo que nele os dados estão na forma de pastas com este nome: 2013-06-11/ e dentro das pastas, eu tenho vários arquivos nomeado assim: 2013-06-11_0000.dat.gz
Eu preparei um script para pegar todos estes dados usando um simples wget, ai eu fiz ele de duas maneiras, que ficaram assim:

1. wget -c $d_destino http://$usuario:$senha@$url/$data/*.dat.gz

Este quando eu rodo me dá esta mensagem:
CAMINHO DE DESTINO: Unsupported scheme.
Warning: wildcards not supported in HTTP.
--14:44:02-- http://world-zeus:*password*@www.zeus.iag.usp.br/ftp/data/2013-06-20/*.dat.gz
Resolving www.zeus.iag.usp.br... 143.107.18.37
Connecting to www.zeus.iag.usp.br|143.107.18.37|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
14:44:03 ERROR 404: Not Found.


2. wget -c $d_destino https://$url/$data/*.dat.gz --http-user=$usuario --http-passwd=$senha --header "Referer: www.zeus.iag.usp.br";

E este trava e fica com a seguinte mensagem:
CAMINHO DE DESTINO: Unsupported scheme.
Warning: wildcards not supported in HTTP.
--14:41:58-- https://www.zeus.iag.usp.br/ftp/data/2013-06-20/*.dat.gz
Resolving www.zeus.iag.usp.br... 143.107.18.37
Connecting to www.zeus.iag.usp.br|143.107.18.37|:443...


Alguém saberia como me ajudar???
Desde já agradeço pela atenção.


  


2. Re: Problemas com wget

Daniel Lara Souza
danniel-lara

(usa Fedora)

Enviado em 20/06/2013 - 14:56h

de uma lida na manpage do comando wget
pode de ajudar

man wget


3. Re: Problemas com wget

Carlos Eduardo de Laia Santos
carlosesantos

(usa Linux Mint)

Enviado em 20/06/2013 - 15:08h

Ja dei uma olhada, eu tentei usar vários dos parâmetros que são ensinados lá, mas ainda não estou conseguindo...


4. Re: Problemas com wget

Alberto Federman Neto.
albfneto

(usa openSUSE)

Enviado em 20/06/2013 - 15:11h

precisa usar wget?
certos Wildcards não são suportados.
veja:

https://www.gnu.org/software/wget/manual/wget.html


5. Re: Problemas com wget

Carlos Eduardo de Laia Santos
carlosesantos

(usa Linux Mint)

Enviado em 20/06/2013 - 15:48h

Muito bom este link que vc me mandou. Mas eu estava querendo usar o wget, porque é o único que eu conheço para baixar arquivos. Com relação aos wildcards, não sei se seria este o problema, pois acredito que este tipo de download que eu estou tentando fazer aceita o *


6. Re: Problemas com wget

Sandro Marcell
smarcell

(usa Slackware)

Enviado em 20/06/2013 - 16:56h

Dá uma olhada na opção '-A' do wget! ;)



7. Re: Problemas com wget

Carlos Eduardo de Laia Santos
carlosesantos

(usa Linux Mint)

Enviado em 20/06/2013 - 18:01h

Cara, valeu mesmo.... Eu usei o -A e meu código ficou assim:
wget -r -A*.gz http://$usuario:$senha@$url/$data/ --proxy-user=xxxxxxxx --proxy-password=xxxxxxxxxxxxx

Agora eu pelo menos consegui baixar todos os arquivos certinho, só falta dar uma mexida no código para ele baixar apenas os dados da data atual, e depois deletar tudo que for inutil, como as pastas de datas anteriores.

Obrigado mesmo a todos pela atenção, vocês foram de grande ajuda.


8. Re: Problemas com wget

Carlos Eduardo de Laia Santos
carlosesantos

(usa Linux Mint)

Enviado em 27/06/2013 - 16:01h

Boa tarde pessoal!!!

Eu havia falado que o wget que eu citei logo acima, tinha resolvido meu problema, porém hoje quando eu tentei executá-lo novamente, está aparecendo a seguinte mensagem:

A requisição Proxy foi enviada, aguardando resposta... 407 Unauthorized
2013-06-27 15:54:55 ERRO 407: Unauthorized.

Alguém poderia me ajudar, uma vez que eu não alterei a senha de proxy que eu estava passando.


9. Re: Problemas com wget

Alberto Federman Neto.
albfneto

(usa openSUSE)

Enviado em 27/06/2013 - 17:33h

para baixar arquivos. em modo gráfico, tem muita coisa, veja estes meus artigos

http://www.vivaolinux.com.br/artigo/Estudo-comparativo-de-alguns-gerenciadores-e-aceleradores-de-dow...
http://www.vivaolinux.com.br/dica/FlashGot-Usando-aceleradores-de-download-sem-precisar-de-linha-de-...

em modo texto, wget, curl, axel, prozilla ou aria2c . instale os pacotes curl, axel e aria2. Incluisve são aceleradores, wget não.


10. Re: Problemas com wget

Fernando
phoemur

(usa Debian)

Enviado em 27/06/2013 - 20:51h

+1

Uma sugestão seria usar o curl , que é muito mais flexível que o wget...


man curl







Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts