[1] Comentário enviado por
rodrigomanga em 09/09/2008 - 10:12h:
bom, vmaos ver se eu entendi.
Você redirecionou as requisições do youtube pra um player q vc fez?
relamente o squid naum cacheia os videos do youtube?
[2] Comentário enviado por
arium em 09/09/2008 - 10:27h:
o funcionamento é baixar a pagina do youtube, clonar alterar o player e colocar em um repositório dentro do computador! isto é feito com base nos padroões do video por isso sempre que acessar o mesmo video vc tera um HIT desse cache secundario. o squid não faz cache o youtube porque o youtube migrou para rede da Akamai. tendo agora MILHARES de hosts, cada vez que você acessa um video (o mesmo video) vem de um host diferente. por isso você só enxe seu cache e não tem sucesso nos Hits, já que o squid reconhece tratar-se de um host diferente. o que com o uso dessa metodologia não ocorre mais por tratar-se de um "cache parelelo" que não faz diferenciação entre hosts, somente entre os videos.
gostaria só de reforçar que isso é feito de forma transparente ao usuário ele nao vai ser redirecionado de maneira que perceba, no browser dele aparece a url do youtube tudo certinho.
[3] Comentário enviado por
elgio em 09/09/2008 - 11:34h:
Fantástico este teu artigo (nunca usei a palavra fantástico no VOL antes)
Não apenas por resolver um problema seu e de muitos, mas por abordar características avançadas do squid!
É o que sempre digo, Linux é isto.
Não há limites!
Os limites são apenas o teu conhecimento e criatividade!
[4] Comentário enviado por
elgio em 09/09/2008 - 12:08h:
Olhei os teus códigos.
Vi que trabalhaste em perl e em bash, usando o melhor de ambos.
Como sugestão para futuro, sugiro unir ambos em um só (somente perl por questões de desempenho), como transformar o part2 em uma função do perl.
Com tantos hits por segundo que tens, as diversas chamadas de shell (inúmeros cut's, greps, seds) são um custo desnecessário!
(mesmo que código em perl fique mais extenso para reproduzir o part2, ainda valerá a pena, pois shell script é sempre mais lento)
veja, não é uma critica, apenas uma sugestão de um caminho para uma versão 2.0 :-D
Se entendi bem o "esqueleto" de tua solução:
a) com regra do squid, tu repassa para teu script sempre que a URL for youtube
b) teu script isola o ID do video e verifica se já possui o mesmo ID no diretório (hmmm, este diretório já não está com milhares de videos/ Sugestão: sub-diretórios, como o squid faz com os hashes)
c) Se tiver em cache, baixa a URL mas reescreve a indicação do player, para que o player seja o teu (pois o teu irá tocar o do cache)
d) se não tiver em cache, baixa com wget, põe em cache e faz como no item c.
Não sei se entendi direito em qual caso o usuário não tem o player redirecionado! (if $baixando == 1).
Não redireciona se a URL não for Youtube (OK)
Mas a parte de NÃO REDIRECIONADO DESTA VEZ...
Seria porque em caso de não ter em cache, tu deixa o usuário por conta própria (sem cache) e em paralelo baixa o ID que não tinha?
[5] Comentário enviado por
arium em 09/09/2008 - 12:39h:
Primeiramente fico muito agradecido pelos elogios amigo! e espero que esta metodologia seja util para você. e que num futuro possamos unir forças.
você tem uma ótima compreensão! e está certo.
quanto ao (if $baixando == 1). ele verifica se o video esta sendo atualmente baixando.. se estiver ele redireciona para a URL original para que o user não receba um video corropido. tal qual quando acontece o primeiro acesso.
como pode ver tem um arquivo "2" que ele verifica na pasta.. ao acabar o video ele é deletado liberando a pasta para acesso.
realmente o perl é mais rapido só resolvi utilizar ambos porque o shell é mais confiável que o perl de qualquer forma eu teria de usar chamadas para o bash então resolvi fazer assim..
quando tentava mandar por parametro algumas varias usando o perl diretamente algumas ficavam vazias. sem explicação o que não acontece com o shell alem de eu poder usar o famoso && para que só execute a primeira depois de fazer a segunda.. eu estava justamente pensando em fazer tudo em shell e tirar até o perl.. mesmo sabendo que honeraria um pouco o custo computacional.. (que não é tão alto) mais mesmo assim é um investimento á mais .. no fim dexei os dois.. não sei como ficará no futuro .. espero que me ajudem a analisar bem a situação. quanto ao diretorio principal tenho + de 3 mil videos cacheados em menos 5 dias.... e realemente dividir em diretórios e subdiretorios é algo que deve ser feito... já estava pensando em fazer um array recursivo...
na realidade.. o que eu poderia fazer mais tarde para "alivar" um pouco o custo computacional.. é trabalhar com tabelas de inode e com o locate soh que dai não seria "on the fly" seria atualizadas por batch...
bem existem varias opções heheheh
mais uma vez obrigado amigo.. colaborações são sempre bem vindas.
[6] Comentário enviado por
arium em 09/09/2008 - 12:41h:
outra coisa.. não tenho vergonha de dizer que sou iniciante em perl e isso dificulta bastante minha
compreensão.. porque não o domino apenas foi fazendo conforme minha necessidade. e quando esbarrava em algo infelizmente não tinha a quem recorrer. perl é muito pouco difundido no brasil.
[7] Comentário enviado por
elgio em 09/09/2008 - 13:59h:
for $i (0 .. $#array){
Se tu tiver uns 20000 arquivos, este teu for sera ate 20000, mesmo que o arquivo que procures seja o PRIMEIRO.
if($array[$i] eq "$arquivoachar") {
$baixando=`ls $YOUTUBE/$arquivoachar/2 | wc -l`;
if($baixando == 1) {
print "$url\n";
print $fh "YOUTUBE AINDA ESTA BAIXANDO VIDEO $arquivoachar nao redirecionado\n";
$flagy = 1;
}
else {
print $fh "YOUTUBE REDIRECIONADO DE $url Para http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html\n";
$url = "http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html";
print $fh "saida: $url\n";
print "http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html\n";
$flagy = 1;
}
Sugiro colocares break aqui (eu nao conheço perl, mas no C e PHP tem o brak.
Porque este é o fim do if que achou o arquivo. Se achou, não tem porque continuar procurando nos demais arquivos e o break quebraria o laço for. Mais eficiente! Ptrincipalmente se tiveres dezenas de milhares de arquivos.
break;
} // fim do if ($array[$i] eq "$arquivochar")
$i++;
}
[8] Comentário enviado por
grandmaster em 09/09/2008 - 15:31h:
Por isso essa cominudade não para de crescer :D
Gosteia da idéia, realmente bem bolada.
Renato de Castro Henriques
CobiT Foundation 4.1 Certified ID: 90391725
http://www.renato.henriques.nom.br
[9] Comentário enviado por
arium em 09/09/2008 - 18:16h:
olá elgio
existe o :
next (last = último) também é para ser utilizado no interior de laços. A passagem atual é interrompida e a próxima passagem é iniciada após a avaliação da condição de execução do laço.
e o goto:
goto (go to = vá para) salta para uma outra parte desejada do programa. Para tanto, a referida parte precisa ser identificada por uma "Label" (label = etiqueta) que pode ser comparada à âncora do HTML. Uma label é definida por um nome seguido de dois pontos. No exemplo acima, na penúltima linha, foi definida a label Resultado:. O comando goto, no início do exemplo, força um salto para esta label. É o chamado salto incondicional.
acho que o goto é o jeito pq se eu colocar o next é possivel que ele soh some i++ e nao saia do for.
[10] Comentário enviado por
arium em 09/09/2008 - 18:17h:
Obrigado Renato! abraços
[11] Comentário enviado por
arium em 09/09/2008 - 23:37h:
elgio; novo laço optimizado conforme sua dica:
for $i (0 .. $#array){
if($array[$i] eq "$arquivoachar") {
$baixando=`ls $YOUTUBE/$arquivoachar/2 | wc -l`;
if($baixando == 1) {
print "$url\n";
print $fh "YOUTUBE AINDA ESTA BAIXANDO VIDEO $arquivoachar nao redirecionado\n";
$flagy = 1;
goto Fora;
}
else {
print $fh "YOUTUBE REDIRECIONADO DE $url Para http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html\n";
$url = "http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html";
print $fh "saida: $url\n";
print "http://$SERVERIP/YOUTUBE/$arquivoachar/pagina.html\n";
$flagy = 1;
goto Fora;
}
}
$i++;
}
Fora:
if($flagy == 0 ) {
print "$url\n";
system("/bin/bash $YOUTUBE/SCRIPTS/full.sh $url");
print $fh "YOUTUBE NAO REDIRECIONADO DESTA VEZ A PROXIMA SERAH: arquivoachar $arquivoachar urllllll $url\n";
}
amigão vi através de seu profile que você manja de C, sabe me dizer se tem como fazer um wget (ou algo parecido em C?)
[12] Comentário enviado por
thiagopriest em 10/09/2008 - 13:11h:
Cara a uns tempos atrás eu tinha imaginado um sistema assim na minha cabeça, pra mim que sou de cidade pequena com um link de 2 mb, é foda.
Então tentei fazer algo em um sistema de cache parecido, não tão bem fundamentado e configurado.
Não sou muito viciado em YouTube mais não tenho paciencia para esperar o o buffer completo ou decente para ver sem travar.
Então legal isso ai.
vou testar.
só não sei quando.
flw
[13] Comentário enviado por
marquinhos1875 em 10/09/2008 - 18:13h:
cara muito bom
ainda não tive tempo de ver os codgos, mas com certeza vou olhar e implantar e por esse cache a Full :)
parabéns mais uma veis
outra coisa, "isso" merece um nome, projeto e um portal para desenvolvimento.
[14] Comentário enviado por
arium em 10/09/2008 - 22:52h:
beleza thiago! qqr dificuldade prenda o grito!
Abraço.
[15] Comentário enviado por
arium em 10/09/2008 - 22:56h:
fala marquinhos!
cara na realidade estou instalando um phpBB em um server meu só para discutirmos o assunto e poder ser elaborado mais addons!
assim que tiver ok (provavelmente esta semana ainda) estarei passando a url :)
valeu!
se vc manja de perl, shell ou squid e quiser colaborar.. será muito bem vindo!
Abraços!
[16] Comentário enviado por
marquinhos1875 em 11/09/2008 - 01:02h:
blza
Com certeza vou apoiar
entendo um pouco de shell e squid.
posso ajudar na parte de teste e debug. Pois cuido de uma rede razoavelmente grande
se não for incomodo add ai msn marquinhos@acserv.com.br
[17] Comentário enviado por
rootkit em 11/09/2008 - 12:23h:
Algum de vocês já precisou utilizar mais de um redirect_program ?
Estou com esse dilema agora aqui :(
Já uso o redirector, para carregar as minhas blacklists no squid via MySQL (que está em outro servidor) e dessa forma aliviar a carga do proxy, mas, se tentar colocar também essa solução (genial, ao meu ver) do Luiz, o squid não vai gostar muito, e vai brigar, dessa forma:
FATAL: Bungled squid.conf line 2468: url_rewrite_program /etc/squid/biazus.sh
Alguém tem uma idéia ?
Luiz, parabéns pela iniciativa e pela solução desenvolvida.
[18] Comentário enviado por
arium em 11/09/2008 - 15:19h:
valeu Anderson..
obrigado pelos elogios! pra dizer a verdade estou muito supreendido (positivamente), com a repercução deste artigo, varias pessoas já me adicionaram no msn outras mandam messagens de parabéns no meu email. fico muito feliz de poder estar contribuindo com o serviço que todos nós prestamos. já recebi messagens de pessoas donas e/ou responsaveis por ISP's dos mais diversos tamanhos do micro ao macro. E cada vez mais fico convicto de que fiz a coisa certa ao postar esse artigo e tantar ajudar. mais uma vez obrigado.
quanto a sua questão você pode embargar um script no outro.. seu outro script de redirecionamento eh shell ou perl? você pode colocar um dentro do outro ou adicionar uma chamada. de dentro de um para o outro.
abraço
[19] Comentário enviado por
rvitoria em 11/09/2008 - 16:22h:
Parabéns Luiz pelo script, mas parabenizo muito mais pela atitute que tomou, compartilhar essa informação com a comunidade. Recebi hoje pela lista scm o link do script, li e já testei e esta funcionando perfeitamente, não sei se é somente aqui que esta acontecendo mas aquele frame que fica ao lado do video no site do youtube não esta aparecendo onde deveria, esta abaixo dos comentarios do video, tentei ajustar a tabela do video, mas não tive sucesso. Mas vou reler novamente todo o script e ver se errei alguma coisa, mas será que pode ser alguma configuração no meu apache ? Sobre passar para C o script, isso daria um ganho em desempenho?
abraços.
[20] Comentário enviado por
darksidefsz em 11/09/2008 - 16:59h:
Primeiro, meus parabéns pelo scrip e atitude Luiz.
É muito bom saber que tem mais gente interessada em ajudar o próximo.
Vou estudar o script e ver pra colocar mais coisas nesses esquema. E claro postar aqui.
Estou com problemas também com o quadro ao lado do vídeo. Estou estudando o caso, se descobrir algo posto aqui.
[]´s
[21] Comentário enviado por
arium em 11/09/2008 - 17:01h:
Obrigado amigão!!
e fico muito feliz de saber que está também disposto á ajudar!
mais me diga qual é o problema que está acontecendo? derrepente consiga dar uma mão!
abraços
Luiz
[22] Comentário enviado por
enver em 11/09/2008 - 17:32h:
Se todos os administradores de redes fossem iguais a você estariamos muito melhor :). A falta de medo de compartilhar a informação com codigos abertos foi fenomenal. Parabéns pelo artigo, isso merece sem duvida uma pagina somente sobre ele. Acredito que com a colaboração de todos que conhecem um minimo sobre programação Bash e Perl podemos tornar esse sistema um cache incomparavel para videos e afins. Recebi o artigo agora pouco e ja consegui coloca-lo para rodar no FreeBSD. Esta funcionando muito bem.
Obrigado, e novamente Parabens pelo desenvolvimento.
[23] Comentário enviado por
enver em 11/09/2008 - 17:40h:
sobre a questao do quadro da direita
alterei isso::
#TROCA PLAYERS
sed '
/<div id="watch-this-vid">/,/<div id="watch-ratings-views">/c \
<div id="watch-this-vid"><div id="watch-player-div" class="flash-player"><embed type="application/x-shockwave-flash" src="'$pl
ayer'/player.swf" style="" id="bannerswf" name="bannerswf" bgcolor="#ffffff" quality="high" allowfullscreen="true" allowscript
access="always" wmode="opaque" flashvars="file='$youtubewww'/'$arquivoachar'/video.flv&fullscreen=true&autostart=true&" width=
"480" height="350"></div><div id="watch-main-area" > <div id="watch-ratings-views">
' $diretorio/$arquivoachar/pagina.html > $diretorio/$arquivoachar/swap.html &&
mv $diretorio/$arquivoachar/swap.html $diretorio/$arquivoachar/pagina.html &&
chmod +rx $diretorio/$arquivoachar/pagina.html &&
[24] Comentário enviado por
rvitoria em 11/09/2008 - 17:41h:
O problema que o amigo darksidefsz e eu estamos encontrando, é no html gerado pelo scripts, o quadro ao lado do video esta aparecendo abaixo do comentario.
abraços
[25] Comentário enviado por
arium em 11/09/2008 - 17:57h:
desculpe ricardo!!
cabei repondendo o dark e nao vi o seu prmeiro post me Desculpa mesmo!!! jah vamos tentar ver os dois
você também esta com problema de acentuação ou não?!
a troca para C aumentaria a performace mais andei pensando ... toda via o C ia ter que chamar o shell ai não ia dá muita diferença!
[26] Comentário enviado por
rvitoria em 11/09/2008 - 17:59h:
aqui esta com acentuação, talvez possa ser alguma configuração no Apache, vou tentar a solução do nosso amigo enver.
[27] Comentário enviado por
enver em 11/09/2008 - 18:04h:
Ah sim, lembrem-se, videos q ja estao no cache a "pagina.html" ja esta modificada faltando dois <div>s no HTML, entao limpei meu cache e bingo, funcionou o quadro da direita certinho.
[28] Comentário enviado por
arium em 11/09/2008 - 18:07h:
Obrigado Enver!!!
também que bom encontrar pessoas com a mesma ideologia!!! temos que unir forças! a grande maioria de nos tem habilidades fenomenais! é só questão de aprender a trabalhar em equipe e abrir um pouco o jogo como você disse!
valeu amigão e obrigado pela contribuição no código!
[29] Comentário enviado por
arium em 11/09/2008 - 18:13h:
Enver
você tah usando o novo sed que vc fez ou o original?!
porquê nao passei por esse problema!
tá usando qual charset no apache2?
[30] Comentário enviado por
enver em 11/09/2008 - 18:17h:
Eu to usando o q eu modifiquei.
tudo exatamente = vc diz no seu manual (meu apache)
[31] Comentário enviado por
arium em 11/09/2008 - 18:20h:
perfeito :) achei curioso o fato de aqui nao apresentar esse pepino. mais irei atualizar o sed! valeu amigão
[32] Comentário enviado por
enver em 11/09/2008 - 18:25h:
Talvez seja a versao do navegador, eu uso somente Firefox. Nao gosto do Internet Explorer... realmente estranho, outrora testarei isso no Internet Explorer com a versao original do SED
[33] Comentário enviado por
arium em 11/09/2008 - 18:28h:
to usando o firefox aqui! talvez resoluçao! te adcionei no msn maninho! agora to indo pra faculdade dps falamos! abraço!
[34] Comentário enviado por
rvitoria em 11/09/2008 - 19:35h:
Aqui na empresa configuramos o squid+tproxy para fazer o cache full, sempre que o usuario baixe algo na internet usando o squid é passado o ip do cliente, podendo assim fazer o controle de banda. Agora que vem o problema, o script baixa o video do youtube e assim não limita a velocidade do cliente, pegando a velocidade que a makina cache conseguir. Nosso limitador de banda é no MK(mikrotik), acredito que se o limitador fosse no cache não teria esse tipo problema, mas na nossa estrutura não posso fazer isso.. já que a empresa possui um sistema que libera cliente e velocidade pelo MK. A estrutura é da seguinte forma Internet <-> MK <-> CACHE <-> Clientes
[35] Comentário enviado por
enver em 11/09/2008 - 22:45h:
Hum, mas veja, no caso do video nao estar no cache efetivo do Youtube, o seu cliente continuara navegando de mesmo modo. O redirector "passara" de volta ao squid a mesma URL original do youtube. Será que isto irá interferir em seu Tproxy+Squid?
[36] Comentário enviado por
arium em 11/09/2008 - 23:19h:
como o enver falou a princípio não afetará em nada.
Abraços.
[37] Comentário enviado por
maikorodrigo em 12/09/2008 - 08:21h:
alguem saberia me dizer o qé isso, já dei permissão 755 pro arquivos...mas mesmo assim da o erro...alguma sugestão ?
obrigado...
2008/09/13 08:12:43| helperOpenServers: Starting 70 'biazus.sh' processes
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
2008/09/13 08:12:43| ipcCreate: /etc/squid/biazus.sh: (13) Permission denied
[38] Comentário enviado por
darksidefsz em 12/09/2008 - 08:29h:
Obrigado Enver, deu certo. Tava me matando com o dreamweaver aqui.
Primeiro achei q era o css, mas desconfiava do div, rs
Muito Obrigado
Ah so lembrando que na minha máquina uso linux e firefox, e tava dando problema.
O dreamweaver era em um máquina aqui de um colega de trabalho que desenvolve em html.
maikorodrigo:
vc tem q dar permissão para o usuário proxy tbm, além da permissão de execução, talvez seja isso
[39] Comentário enviado por
arium em 12/09/2008 - 08:58h:
dá um ps -aux | grep squid ai maiko pra ver qual eh o user que tá rodando teu squid
[40] Comentário enviado por
rvitoria em 12/09/2008 - 10:13h:
baixei um video que não estava no cache e foi mesmo o ip do cache que apareceu nos roteadores posterios, o squid+tproxy só vai funcionar se o squid pegar o video, como estou dando um wget direto no arquivo a função do tproxy não será feita, pelo menos foi isso que entendi. Vou dar uma olhada se tem como mudar a origem do ip que esta pegando o video usando iptables.
[41] Comentário enviado por
arium em 12/09/2008 - 10:32h:
assim ricardo...
quando o cliente requisita um video
e você não tem ele no cache! o cliente recebe da URL original
o cache aciona um wget para o repositório! (a full)
o cliente como esta recebendo do original.. mantem qqr funçao de controle de banda externo que por ventura tenha..
depois que o wget termina o cliente começa entao apartir dai receber da url interna
apartir dai seria necessaria uma politica interna de controle de banda caso você queira
mais do primeiro momento que vc entra em uma url até o termino do download
o cliente sempre irá receber a URL externa..
o servidor sim dá um wget nela mais são duas coisas em paralelo! é como se você estivesse baixando o video 2 vezes(dah primeira vez).
[42] Comentário enviado por
rvitoria em 12/09/2008 - 10:58h:
entendi arium, algumas vezes aqui o uso do banda pelo cache( usando o wget) chegou a 3,5mbps, como youtube é bem popular tenho receio que o consumo de banda seja mais alto que isso, tornando o link cogestionado. Mas também estou com o cache do youtube por um dia, o que é normal baixar tudo da origem.
[43] Comentário enviado por
arium em 12/09/2008 - 11:12h:
realmente ele dá picos... mais se voce esta baixando o video a 3,5mbs em 3segundos vc baixa um video! hehe o que não é nada gritante.. e como você mesmo disse quanto mais videos menos população nova você terá os primeiro 3/4 dias pra mim foram de maior consumo.
[44] Comentário enviado por
rvitoria em 12/09/2008 - 11:25h:
sobre o apache e os videos, qualquer um que coloque o endereço
http://200.200.20..1 vai acessar os diretorios que leva ao cache do youtube, coloquei algumas regras para endereços fora da minha rede não acessar o apache. Não sei se estou falando bobagem, mas parece que tem uma configuração no apache que qndo entra somente com o ip
http://200.200.200.1/ não mostra os diretorios que ali tem, assim já evitaria de alguem ficar olhando o cache.
[45] Comentário enviado por
arium em 12/09/2008 - 11:45h:
vc pode usar a regra na pasta do apache tipo:
deny from all
Allow from 127.0.0.0/255.0.0.0
[46] Comentário enviado por
enver em 12/09/2008 - 11:45h:
edite o httpd.conf e localize
<Directory />
Options FollowSymLinks
AllowOverride None
</Directory>
<Directory /cache1/www/>
Options Index FollowSymLinks MultiViews
AllowOverride None
Order allow,deny
allow from all
</Directory>
tire a palavra Index ficando apenas
Options FollowSymLinks MultiViews
Pronto, agora somente sabendo a url exata do seu server abrirá o video
ah: nao esqueca de reiniciar o apache
> apachectl restart
[47] Comentário enviado por
powerd0wn em 12/09/2008 - 13:23h:
Falae, pessoal... como vao?
Não li todo o artigo, mas li bem por cima, e tenho uma única sugestão a fazer:
Em relação aos códigos, o próprio elgio já citou bastante coisa bacana.
Agora, eu imagino o seguinte... ficaria infinito o armazenamento no HD? E se tiver videos que, em relação aos outros, forem vistos numa porcentagem muito imperceptível? Não seria bacana criar uma rotina de estatística e ir renovando o cache de acordo com os 'top XXXX'?
Abraços.
Rodrigo Martins
[48] Comentário enviado por
arium em 12/09/2008 - 14:48h:
a ideia é de se fazer algo assim rodrigo! pegar um auditor de paginas mesmo e só adaptar..
valeu
[49] Comentário enviado por
enver em 12/09/2008 - 15:05h:
Algo rodando em sql (talvez mysql) direto de dentro do perl com DBD::Mysql, armazenando dados (como qtidade de acesso de cada video etc.. ) até mesmo totalizando tamanho de cada video, se o mesmo esta ou nao com tamanho correto, se o seu "cache efetivo nao esta no maximo uso q vc permitiu". Alguma checagem talvez de atualização do video no youtube (ex de videos bloqueados por copyright). O meu principal medo ate o momento seria a questao processamento da maquina com essa solucao, as rotinas teriam que ser muito bem revisadas para que isso nao gere um certo lag de entrega ou mesmo sobrecarga de processamento.
**editado
Mudando de assunto completamente
em vez de usar o ls
$baixando=`ls $YOUTUBE/$arquivoachar/2 | wc -l`;
nao seria + facil usar o "-e" do perl?
if (-e "$YOUTUBE/$arquivoachar/2") { "-e" = checagem se existe o arquivo
[50] Comentário enviado por
Gabriel_RS em 14/09/2008 - 15:16h:
Boa tarde Arium...
Estou acompanhando o seu trabalho a um tempo, desde o forum do under-linux.
Realmento muito bom seu trabalho, meus elogios...
Gostaria de ver com vc, c teria alguma possibilidade de dar algumas dicas para se construir um bom squid(vendo que vc tem bom conhecimento sobre o ssunto) e também c posso juntar o script do windows update, orkut, avg, avast e o atual youtube em um único.
Desde já agradeço...
[51] Comentário enviado por
aleteixeira em 14/09/2008 - 21:09h:
Olá Arium
Obrigado por de compartilhar estas coisas boas da tecnologia
Aki funcionou certinho!
Show de bola sua iniciativa... concordo com vc nossa classe tem q ser + unida!
valew
Alexandre
[52] Comentário enviado por
arium em 15/09/2008 - 08:32h:
Olá Gabriel...
Obrigado!
sim tem essa possibilidade de juntar tudo!
você pode baixar o fullscript de
www.biazus.com/forum existe uma parte de desenvolvimento nesse forum se você deseja contribuir ai conversamos.
Abração
[53] Comentário enviado por
arium em 15/09/2008 - 08:33h:
Que bom que funcionou ai alexandre!! excelente! :)
quando ao comentário creio que um dia o povo acorde pra essa realidade hehehe pelomenos nós estamos dando a iniciativa :) abraços!
[54] Comentário enviado por
neon_ em 15/09/2008 - 17:54h:
Grande Luiz,
-- editado --
parabens pelo artigo, ótimo mesmo.
-------------
Aqui está dando o seguinte erro:
--17:06:01--
http://br.youtube.com/get_video?
Resolvendo br.youtube.com... 208.117.236.70
Connecting to br.youtube.com|208.117.236.70|:80... conectado!
HTTP requisição enviada, aguardando resposta... 404 Not Found
17:06:03 ERRO 404: Not Found.
Ele cria a pasta em /disco2/YOUTUBE/ mas nao baixa o video e nao cria a tal pagina.html
--- editado ---
Uso CentOS 5.0
---------------
Espero que possa me ajudar.
Tomei a liberdade de add vc no msn.
Até mais.
[55] Comentário enviado por
arium em 15/09/2008 - 18:12h:
opa amigo!.. qual a distro que vc esta usando?
[56] Comentário enviado por
douglasrauber em 15/09/2008 - 19:40h:
Galera, instalei e configurei o cache! Funcionou legal, tenho apenas duas questões:
1-Como resolver a questão dos acentos ? quando o vídeo é utilizado do cache, nos caracteres acentuados aparecem caracteres estranhos..
2-Nos videos em cache, a abertura do video demora um pouco, será que é alguma configuração que eu fiz errado ? (Embora depois que ele abra, a buferização é instantânea.
A... parabens pelo trabalho!
Debian 4.0 / Squid 2.6
Obrigado.
[57] Comentário enviado por
neon_ em 15/09/2008 - 20:05h:
eu uso centos 5.0.
[58] Comentário enviado por
rootkit em 16/09/2008 - 06:29h:
Opa,
Na verdade, o redirector é um binário compilado :(
Pus ele na rede aproveitando somente a seção dele, no tutorial do Alvaro Oliveira (http://www.vivaolinux.com.br/artigo/Squid-Plus-com-AD-redirector-controle-de-banda-e-relatorios/?pagina=1)
Vou tentar chamar o redirector a partir do seu script, e depois digo aqui qualquer coisa se deu certo ou não :)
[59] Comentário enviado por
arium em 16/09/2008 - 11:51h:
neon não manjo nada de CentOs, mais a minha dica é procurar com o which os patches dos binários tipo Wget, ls, mkdir e alterar no script que possivelmente seja isso!
quanto ao msn nao recebi (acho eu) pedido de add! tenta dnv abraço!
[60] Comentário enviado por
arium em 16/09/2008 - 11:55h:
douglas voce fez a alteração do charset do apache? no debian fica no apache2.conf você tem que desabilitar todos os outros e colocar o UTF-8 como falei no tutorial..
outro jeito de fazer é instalar o recode
#apt-get install recode
depois no biazuspart2.sh
subistituir no final do script:
echo "COPIADO $1 em $diretorio/$arquivoachar !!! O Script Executou com Sucesso!" >> /tmp/youdebug
por
echo "COPIADO $1 em $diretorio/$arquivoachar !!! O Script Executou com Sucesso!" >> /tmp/youdebug &&
/usr/bin/recode -f utf8..latin1 $diretorio/$arquivoachar/pagina.html
quanto a abertura do video.. pode ser hardware... mais é realemnte estranho
Abraços
[61] Comentário enviado por
arium em 16/09/2008 - 11:58h:
Anderson ..
na verdade o rewriter pode ser qqr coisa.. um programa ou um script a unica coisa que precisa ter é receber um array e retornar outro :)
Abraçao
[62] Comentário enviado por
neon_ em 16/09/2008 - 15:30h:
GRANDE Luiz,
mais uma vez venho parabenizá-lo pelo sei feito.
como estava tendo dificuldades em utilizar seu script, usando o mesmo raciocínio, fiz um em shell-script apenas, sem o perl.
está caminhando blz, baixando o html, baixando o .flv.
estou lendo todo o topico do url_rewrite na under-linux para poder comentar algo no final e dar minhas sugestoes.
so estou tendo problema com a substituição do player, baixei os players do youtube, tanto o novo (v9) como o antigo (v8), mas nao estou sabendo substituí-lo com o sed, na verdade vou ler melhor sobre o sed e montar algo resumido.
ah, meu script ficou em 1 arquivo apenas e bem menor que o seu.
assim q eu terminar eu posto aqui.
grato.
[63] Comentário enviado por
arium em 16/09/2008 - 17:08h:
Olá Wenderson,
muito obrigado amigo! quanto a substituição do player o shell script já faz isso que esta no biazuspart2.sh acho que é só questão de voce acertar o PATH dele lá, gostaria de ver seu script de pois de pronto, se quiser se unir á nós no forum.. estamos tentando montar um grupo legal de proxy lá usuários registrados tem acesso ao full script e moderadores a todos os forums , que são os que poderao ajudar no desenvolvimento e melhoria de alguma maneira! se quiser fica o convite abraços.
[64] Comentário enviado por
neon_ em 16/09/2008 - 17:50h:
ola,
até que enfim consegui terminar e colocar pra funfar.
vou postar la na under-linux.
falows.
[65] Comentário enviado por
fabiogimenes em 17/09/2008 - 15:33h:
Ola.. Galera..:)
Parabens pelo script.. show..ajudou.. muito...Obrigado...
Utilizei ele no servidor proxy que comunica com o wccp do roteador cisco ficou 100% transparente.
Obrigado..
[66] Comentário enviado por
arium em 17/09/2008 - 15:58h:
show de bola fabio =D
[67] Comentário enviado por
neon_ em 20/09/2008 - 20:19h:
Grande Luiz,
ainda estou vendo pq meu script nao roda o filme antes de completar o down, mesmo sendo redirecionado para o pagina original.
agora fiz uma coisa aqui que vou enviar como sugestao.
quando baixa o html os links ficam todos relacionados com seu dominio.
www.dominio.com.br certo?
pra isso recomendo fazer um sed para colocar apos o <head> um <base> que torna esse caminho como base do site.
sed -i '/<head>/c <head><base href="http://br.youtube.com/"></base>' caminho-do-html
assim os clientes nao vao ficar lhe ligando perguntando pq que o youtube joga pra tua pagina. :)
grato.
[68] Comentário enviado por
arium em 20/09/2008 - 21:13h:
fala brother... estranho isso!
bem ele soh converte para o seu dominio se você usar a opção "-k" no wget ... senao permanece a original.. abraços
[69] Comentário enviado por
sigelmann em 20/09/2008 - 23:57h:
Pra quem quer usar juntamente com cache full, pode-se colocar a seguinte gambiarra no final do biazuspart2.sh:
export http_proxy="IP_DO_SERVIDOR:PORTA_DO_PROXY"
wget -S -O /dev/null "http://IP_DO_SERVIDOR/YOUTUBE/$arquivoachar/video.flv"
wget -S -O /dev/null "http://IP_DO_SERVIDOR/YOUTUBE/$arquivoachar/pagina.html"
wget -S -O /dev/null "http://IP_DO_SERVIDOR/YOUTUBE/$arquivoachar/video.flv"
wget -S -O /dev/null "http://IP_DO_SERVIDOR/YOUTUBE/$arquivoachar/pagina.html"
export http_proxy=""
Eu testei aqui e ficou perfeito.
Aproveitando, parabens pelo artigo, realmente você fez uma coisa que muita gente gostaria de ter concretizado em seu servidor de internet e agora estão conseguindo.
[70] Comentário enviado por
arium em 22/09/2008 - 08:33h:
Olá Amigo Sigelmann
Antes de mais nada obrigado pelo reconhecimento! fico muito gratificado, Obrigado!
sobre a questão do cache full você não precisa fazer isso amigão
basta fazer 2 tabelas mangle uma mark packets com uma mark conection com o content X-Cache: HIT e criar a queue sobre o packet mark :)
abração
Luiz Biazus
[71] Comentário enviado por
enver em 22/09/2008 - 15:19h:
o caso do neon eh aquele caso de juntar a ultimas linhas e colocar um & no final luiz, aquela q estamos comentando no seu forum
o neon, junta as ultimas linhas do biazuspart2.sh colocando && comeca no ultimo wget e vai juntando as linhas dele pra baixo em 1 unica linha e separa os comandos com && e no final de tudo poe um unico & e esse problema seu do video soh comecar depois de terminar o script sera resolvido
o luis, desculpa mas nao entedi o q vc quis dizer aqui em baixo, por favor explica de novo pra mim?
Luis disse:
basta fazer 2 tabelas mangle uma mark packets com uma mark conection com o content X-Cache: HIT e criar a queue sobre o packet mark :)
>>O cache full ja nao trabalha assim?
uma mark connection, da porta do proxy, uma mark packet com X-Cache: HIT e um queue liberando ou bloqueando o limite? isso no chain = output?
sigelmann, hum, mas me diga só 1 coisa, pq voce manda 2x os comandos de wget (2x o video.flv e 2x a paginal.html?
[72] Comentário enviado por
sigelmann em 22/09/2008 - 16:41h:
Oi, realmente na pressa coloquei duas vezes a instrução wget, uma vez que é necessário apenas uma. Os pacotes aqui já estão marcados (pelo Myauth), mas eu percebi que quando, após assistir o primeiro vídeo, o segundo levava o mesmo tempo para baixar. Mas o
terceiro já baixava quase que instantaneamente (cache full), como se no primeiro não hovesse marcação dos pacotes com o conteúdo X-Cache: HIT, o que ocorria já com o segundo, por isso coloquei forçar a passagem pelo proxy.
[73] Comentário enviado por
arium em 22/09/2008 - 23:16h:
enver
justamente é cache full vc usa a aba mangle + foward
depois faz a queue liberando!
pelomenos aqui tah funcionando apenas com o X-Cache: HIT
[74] Comentário enviado por
Andre_A_Ferreira em 24/09/2008 - 14:09h:
Olá Luiz Biazus
Show de bola a seu artigo, vou testar, assim que estiver funcionando posto os resultados, mas já adianto, Nota 11 (onze) dez é pouco.
sds
André.
[76] Comentário enviado por
rodrigomanga em 25/09/2008 - 06:45h:
já pensaram de ao invés de fazer esse url_rewrite todo, fazer um servidor de dns, que repassa sempre o mesmo server ?
é uma possibilidade para pensar.
[77] Comentário enviado por
enver em 25/09/2008 - 23:23h:
paulojrandrade
1-) o apache ta reclamando que tem algum comando ja definindo e usando a porta 80 antes do namevirtualhost
2-) hum, parece que eu andei corrigindo um erro desses ai esses dias... da uma passada no forum do biazus (www.biazus.com) e da uma olhada nos codigos la, acho q estao + atualizados...
ainda sobre a 2, se o seu apache nao rodou como deveria, duvido q o cache efetivo va funcionar, concentre-se 1o no apache, para depois testar o cache efetivo, senao 1 coisa ira atrapalhar a outra.
rodrigomanga
Nao consigo enxergar (ainda) qual seria a diferenca entre o rewrite do 'endereco' e o dns forjar um endereco?
A principio isso daria no mesmo nao? Se daria no mesmo, porque reinventar a roda?
Mas se essa ideia sua tem + alguma coisa atrelada a ela, por exemplo: "fazer um dns que envie ao mesmo server, e este server com um php ou com um perl faça um proxy menos mascarado do que esta sendo feito.. etc..."
Talvez seja muito interessante mudarmos esse pedaço da solução
Voce consegue explicar mais detalhadamente o que exatamente voce tem em mente com o dns forjando o endereço?
[]'s
lembrem-se todos no forum do biazus a coisa ta mais evoluida, nao sei se ele atualizou aqui o codigo, mas acho q nao ainda. Logico quando tiver codigos estaveis e sem bugs ele ira atualizar aqui, mas as vezes muda tao rapido que nao da tempo de ficar atualizando
[78] Comentário enviado por
rodrigomanga em 26/09/2008 - 09:43h:
então, estive fazendo uns testes com CNAME no BIND, para redirecionar as requisições todas para o mesmo ip, porém não adiantou, pois como o nome do dominio muda, o arquivo no cache do squid muda também... então esquece o que falei...
[79] Comentário enviado por
rodrigomanga em 26/09/2008 - 14:40h:
só uma coisa não entendi o script ainda... onde ele retorna a url modificada para o squid?
[80] Comentário enviado por
rodrigomanga em 26/09/2008 - 14:45h:
calma, acho q ja entendi, me corrijam se eu estiver errado.
é só dar um print na saida padrão com o novo url né?
[81] Comentário enviado por
rodrigomanga em 26/09/2008 - 15:40h:
me expliquem mais uma coisa...
por que ao invés de só enviar o get_video para o cliente, vcs redirecionam para uma pagina completa do servidor?
[82] Comentário enviado por
enver em 26/09/2008 - 15:58h:
entao
resp 1: sim é soh dar o print na nova url voce esta certo
resp 2: na verdade é uma somatoria de coisas que faz do youtube uma verdadeira encrenca pra operar... eu fiz esse teste desse modo q voce falou somente mexer com o video que o player esta querendo tocar sem mexer na "pagina" completa, e pareceu a melhor solução, porem deu um trabalho para fazer isso operar que voce não faz ideia... tive q perder no minimo umas 10 horas testando e testando e ainda nao esta legal, por incrivel q pareca o shell script segura tudo ate terminar o download do video antes de "entregar" o video para o player comecar a tocar...
lembre-se novamente, no forum ta + atualizado da uma passadinha por la..
www.biazus.com, e exatamente esses comentarios e codigos modificados tao la para quem quizer ver
[83] Comentário enviado por
rodrigomanga em 26/09/2008 - 16:14h:
eu passei no forum, não achei nada... só 2 topicos sem muito movimento. já vi o topico no underlinux, tá bem mais movimentado.
eu tenho uma idéia. pegar o tamanho do get video com wget -S --spider, ai criar um arquivo já com o tamanho certo no cache, deixar o wget pegando e redirecionar para a url do cache, pelo q to vendo aqui, vai dar certo.... ai naum precisa mandar o cliente buscar o video direto no youtube
[84] Comentário enviado por
enver em 26/09/2008 - 16:30h:
otima ideia
por isso falei pra voce passar la no forum, o ultimo script meu (data de ontem)
ja faz parte disso, soh voce incluir a parte do wget e o arquivo tamanho certo e ta pronto.. logico bugs existem no meu script ainda..
para ficar melhor visivel sem ter q ficar rolando paginas, eu dei uma organizada nos topicos la no forum agora pouco..
o luiz ta meio quieto esses dias por causa da faculdade dele, mas em alguns dias ele volta a comentar também e atualizar os scripts por aqui.
[85] Comentário enviado por
rodrigomanga em 26/09/2008 - 17:25h:
bom, testei aqui, com o wget naum dá, pois ele altera o tamanho do arquivo, e naum tem jeito de direcionar a saida do wget pra outro lugar(por pipe), assim eu pesquisei e achei o CURL
eu achei esse programa bem melhor q o wget, tem opções bem loucas!
qual o eskema:
o cliente acessa o video, o video naum esta no cache
entao pega o tamanho do video com curl -I (mesma coisa que com wget -S --spider)
cria o arquivo no cache com o tamanho certo com dd if=/dev/zero of=arquivodevideo bs=tamanhodovideo
manda o curl baixar o video, e redireciona o fluxo de dados pro dd ir adicionando ao arquivo
manda o url do cache do servidor pro cliente
tava fazendo uns testes com essa linha de comando, e funcionou:
curl --range -894 "http://www.ss64.com/osx/dd.html" |dd of=teste.txt seek=11000
ele ta pegando os ultimos 894 bytes do arquivo, e adicionando ao arquivo teste.txt, exatamento no lugar q ele deve ser inserido. fiz isso para er se alterava o tamanho do arquivo, e naum alterou.
o eskema pro script do youtube fica mais facil do q essa treta toda q escrevi
[86] Comentário enviado por
rodrigomanga em 26/09/2008 - 17:26h:
isso tudo pensando em shell script, pra ficar mais facil. porém dá pra implementar totalmente com perl, e fica bem melhor!
[87] Comentário enviado por
neon_ em 26/09/2008 - 17:56h:
interessante a bibliote cURL, mas será que ele consegue liberar o vídeo pro cliente ir assistindo "enquanto" está baixando? digo localmente?
[88] Comentário enviado por
rodrigomanga em 26/09/2008 - 19:09h:
alguem pode testar isso? eu to mexendo em maquina virtual... ta osso
mas é quase certeza que o apache libere o arquivo para download, ja q quando eu faço uploads por ftp, ele libera.
a unica coisa q precisa prestar atenção é na velocidade de entrega pro cliente, pois se essa velocidade passar da velocidade de download, vai corromper o video que o cliente está visualizando...
[89] Comentário enviado por
arium em 26/09/2008 - 19:33h:
o forum é fechado a parte geral da coisa... fica aberto somente alguns topicos o enver eu cadastrei direto como moderador por isso que ele não se ligou hehehe, decidi fazer fechado pq fica mais organizado.. como diz o ditado quem nao ajuda não atrapalha ehehe ae conforme nos formos tirando os "estaveis" agete posta naquele forum na parte de ultimo script full que fica aberto... mais como você demostrou interesse rodrigo está liberado para vc tbm os demais foruns abraços
[90] Comentário enviado por
neon_ em 26/09/2008 - 19:45h:
pois é, essa que era minha preocupação.
entao desde que o shell-script/perl libere o video para o cliente ver, do link original, enquanto o curl/wget baixar está otimo.
agora sobre a nao necessidade de substituir o player, vou tentar ver com calma.
também estou totalmente sem tempo, faculdade, trabalho, tudo puxado esses dias.
mas vamos resolver, nosso amigo ENVER, vou verificar esta questão de nao substituir o player.
e sobre o orkut, consegui fazer ele baixar todas as imagens, criei o repositorio e baixo tudo o q for imagem. vou postar tb no forum biazus. mas a logica é. cria-se uma pasta como repositorio e joga-se todas as imagens (jpeg, jpg, gif, png, swf, etc) dentro desta pasta mas com caminhos absolutos apos img[0-9].orkut.com
exemplo:
http://img2.orkut.com/img/castro/image.jpg salva em /disco_cache/ORKUT/img/castro/image.jpg
e todos os links para img[0-9]img.orkut.com/img/castro/image.jpg redireciona para $SERVIDOR/ORKUT/img/castro/image.jpg
se vc puder tentar implementar tb ENVER seria ótimo.
uma última coisa, achei que com perl ficou mais "lerdo" que com shell-script, isso apenas copiando do forum biazus e colando no novo script.
nao sei se faltou fazer algo.
boa noite, :)
[91] Comentário enviado por
rodrigomanga em 27/09/2008 - 01:03h:
bom, ja como o amigo disse que em shell script fica mais rapido, vou fazer todo o script nele.
pra ler os parametros do squid é só usar o "read"
depois coloco aqui como ficou
[92] Comentário enviado por
rodrigomanga em 27/09/2008 - 04:28h:
#/bin/bash
#constantes
meu_cache="http://192.168.76.128/youtube"
meu_dir="/var/www/youtube"
# ler dados enviados pelo squid
read data
# retira o primeiro parametro que a url
url=`echo $data | cut -d " " -f 1`
#joga informao no arquivo de log
echo "entrou: $url" >> /tmp/debug_url_redirect.log
#pega o video id
videoid=`echo $url|grep "get_video"|cut -d "&" -f 1|cut -d "=" -f 2`
if [ -z "$videoid" ]
then # se o videoid estiver vazio....
echo "$url"
echo "NO: $url $videoid" >> /tmp/debug_url_redirect.log
exit 0
else # se pegou o videoid
#joga informao no arquivo de log
echo "entrou: $url" >> /tmp/debug_url_redirect.log
if [ -e "$meu_dir/$videoid" ] # verifica se existe o arquivo
then # se existir
echo "HIT: $url -$videoid-" >> /tmp/debug_url_redirect.log
echo "$meu_cache/$videoid"
else # nao existe, manda baixar o arquivo
#verifica o tamanho do video no youtube
tamanho=`wget -S --spider $url 2>&1| grep -i "Content-Length"|cut -d ":" -f 2| cut -d " " -f 2`
if [ $tamanho = "" ]
then
echo "$url"
exit 1
fi
#cria o arquivo ja com o tamanho correto
dd if=/dev/zero of=$meu_dir/$videoid bs=$tamanho count=1
#baixa alterando o arquivo criado
wget -qO- "$url"|dd of=$meu_dir/$videoid conv=notrunc &
echo "MISS: $videoid $tamanho $url" >> /tmp/debug_url_redirect.log
echo "$meu_cache/$videoid"
fi
fi
[93] Comentário enviado por
rodrigomanga em 27/09/2008 - 11:52h:
Bom, depois que fiz o script em bash, percebi onde estão os gargalos de desempenho nesse sistema.
São 2
- procura do arquivo no cache
- baixar o arquivo pro cache
A procura do arquivo no cache pode ser feito por uma busca num banco de dados(sugiro mysql), isso já ia agilizar muuuuito!
baixar o arquivo pro cache, e direcionar para o cliente já tá feito, mas pode ser feito de outras maneiras.
O principal é esse lance de procurar no cache, já que vai ser feito uma busca, podemos implementar a quantidade de acessos do vídeo,e também manter a data do ultimo acesso, assim podemos liberar videos menos vistos e etc.
Eu sugiro que façamos tudo numa linguagem fácil, já que foi identificado o gargalo, eu sugiro o PHP. Acho a linguagem muito facil de mexer, e tem muitas opções.
O que vocês acham?
[94] Comentário enviado por
arium em 27/09/2008 - 12:21h:
rodrigo seu user tem condiçoes de ver todos os posts do outro forum já vamos continuar discutindo lá para organizar por aqui vai vira flood
[95] Comentário enviado por
gnu em 29/09/2008 - 16:48h:
olá Rodrigo, postei no fórum (http://www.biazus.com/forum/), sobre instalaçao somente da parte referente a orkut. Se puder me ajudar fico agradecido. Mandei um email pra vc tb.. e tb tomei a liberdade de te adicionar no msn... valew.. Excelente realmente a idéia .. ja estah nos meus favoritos...
[96] Comentário enviado por
rootmaster em 08/10/2008 - 09:24h:
Olá Pessoal, para o Fedora 6, usando o squid 2.6 (Compilado de Acordo com o TUTO.) na parte do squid, ele trava com a seguinte linha ...
url_rewrite_program /etc/squid/biazus.sh
Já dei permissão, o squid (usuário) já é o dono, alguma indicação de vcs ???
OBG, Flw ..
[97] Comentário enviado por
gzanatta00 em 13/11/2008 - 09:14h:
amigo no meu aqui ta dando o seguinte problema
Acessei esse video aqui, e deixei carregar por inteiro
http://www.youtube.com/watch?v=eHgcMvhAl5c
após fui acessar novamente apareceu isso na web
Not Found
The requested URL /YOUTUBE/watch__v=eHgcMvhAl5c/pagina.html was not found on this server.
Apache/2.2.3 (Debian) Server at 10.4.4.91 Port 80
[98] Comentário enviado por
gzanatta00 em 21/11/2008 - 11:43h:
bom dia! jah fiz funcionar aqui
mas estou com o seguinte problema
quando dou um /etc/init.d/squid restart
a cache do youtube comeca a funcionar legau, mas logo para, tipo tenho alguma coisa q esta bloqueando
precisaria q alguem postasse as configuracoes do squid para min ver onde estou errando
[99] Comentário enviado por
carlosdias98 em 26/11/2008 - 09:22h:
Alguém poderia me dar uma ajuda, esta ocorrêndo um erro na hora da starto o apache.
Forcing reload of web server (apache2)... waiting apache2: Syntax error on line 668 of /etc/apache2/apache2.conf: Syntax error on line 51 of /etc/apache2/sites-enabled/000-default: /etc/apache2/sites-enabled/000-default:51: <VirtualHost> was not closed.
failed!
Aguardo
Obrigado
[100] Comentário enviado por
carlosdias98 em 26/11/2008 - 09:22h:
E estou com problema no squid também.rsrs
2008/11/26 07:23:15| ACL name 'all' not defined!
FATAL: Bungled squid.conf line 16: url_rewrite_access deny all
Squid Cache (Version 2.6.STABLE5): Terminated abnormally.
Aguardo
[101] Comentário enviado por
lucastavarestga em 16/12/2008 - 10:06h:
###############
Amigo sobre esse erro faça o seguinte:
Comente a seguinte linha
#url_rewrite_access deny all
messages syslog
---
Também tive um outro problema, vi nos logs do "/var/log/messages" e "/var/log/syslog"
Corrigi assim:
chmod 777 /etc/squid/biazus.sh
Se tiver mais alguma dúvida amigo, só contactar
lucastavarestga@gmail.com
Abraços
###############
Comentário enviado por carlosdias98 em 26/11/2008 - 09:22h:
E estou com problema no squid também.rsrs
2008/11/26 07:23:15| ACL name 'all' not defined!
FATAL: Bungled squid.conf line 16: url_rewrite_access deny all
Squid Cache (Version 2.6.STABLE5): Terminated abnormally.
[102] Comentário enviado por
leonsoft em 26/02/2009 - 15:32h:
Sou novo no mundo LINUX por isso tem uma pergunta meio "obvia"
****
Onde $YOUTUBE receberá o diretório (path completo) da pasta do youtube sem a barra final e $SERVERIP receberá o IP VÁLIDO do seu servidor.
Friso isso, precisa ser o IP VÁLIDO por razões obvias, afinal seus clientes não verão, por exemplo, uma interface de loopback 127.0.0.1 que você colocar ali.
*****
//// Tenh uma LAN HOUSE e USO BFW/SQUID, queria implementar esse seu SCRIPT, porem meu link eh ADSL/TELEMAR (Nao possuo IP fixo/VALIDO) teria como implementar isso ?
Achei tambem isso aqui e achei interessante...
VideoCache - Cache Videos Using Squid | Cache Videos
http://cachevideos.com/configure
Valeu e obrigado pela atenção....
[103] Comentário enviado por
fabricioigor em 09/03/2009 - 15:59h:
ola Luiz Derci Biazus olha eu to querendo entrar no teu site
www.biazus.com e so ta dando permissao negada! estou querendo colocar o cache efetio
[104] Comentário enviado por
arium em 09/03/2009 - 16:43h:
olá amigo!
Por Enquanto está liberado apenas para ip´s Brasileiros acessarem!
abraços!
[105] Comentário enviado por
pfneto86 em 22/03/2009 - 11:37h:
Cara Excelente seu artigo, muito bom mesmo!!! Provedores de internet sempre passam dificuldade com a questão Link, e sua contribuição foi fantastica, mostrando como precisamos nos virar para sobreviver.
Infelizmente a internet no Brasil ainda é uma porcaria, muito abaixo do que outros paises já vivenciam. E o pior é que as grandes telecons ainda cobram absurdos para provedores menores e clientes.
Agradeço muito, fantastico seu atigo, obrigado pela contribuição.
[106] Comentário enviado por
mlevy em 21/09/2009 - 20:48h:
Gostaria de deixar claro que no tenho grandes habilidades no linux. Tenho o squid configurado em um linux ubuntu 9.04 em uma lan house com 32 computadores e 2 pontos de notebook. Tinha 3 hds configurados para cachedir. Quando li seu artigo (do cache do youtube) destinei um dos hds para o youtube. Nao estou conseguindo fazer funcionar, acho que deve ser algo no apache, esse eu comecei a mexer hoje ao ler seu artigo. Como nao posso contribuir intelectualmente gostaria de faze-lo economicamente. Acho que estou me perdendo na parte do biazuspart2.sh. Devo estar colocando o nome errado. Meu email e mlevy@terra.com.br. (nao consigo acentuar as palavras pois estou mexendo no linux atraves do vnc.
[107] Comentário enviado por
arium em 21/09/2009 - 22:41h:
Olá Amigo...
Bem esse artigo agora serve apenas didaticamente...
o projeto tomou outros horizontes está grande e possui diversos colaboradores o sistema inclusive ganhou um proxy próprio. chamamos o projeto de thunder cache... e possiu plugins para cachear diversos hosts... como 4shared... youtube...orkut...sistemas de antivirus... windowsupdate.. etc etc etc..
vc pode saber mais através de
www.thundercache.org
abraços
Luiz
[108] Comentário enviado por
mlevy em 24/09/2009 - 15:35h:
Pois eh Luiz, entrei no site e vi os scripts do youtube, 2 ao todo, que estavam disponíveis para download junto com vários outros. Mas nao sei o que fazer com eles.
Preciso de um norte. Se você me disser que tenho que configurar esses scripts no apache2 eu estudarei para fazê-lo, se for no squid.conf também.
O meu problema eh que não sei o que fazer com a informação. Com relação a esse tutorial do vivaolinux eu constatei que ele salva os endereços dos vídeos do youtube em pastas com o nome da url. Dentro das pastas estão os vídeos mas em tamanho zerado. O que será que esta errado?
Com relação ao biazuspart2.sh, aonde eu configuro o nome da maquina e o domínio? Tentei o arquivo /etc/host.conf ou hosts ou hostname.
E quando ligo o apache2 ele diz:
[Thu Sep 24 15:34:40 2009] [warn] NameVirtualHost *:80 has no VirtualHosts
... waiting .[Thu Sep 24 15:34:42 2009] [warn] NameVirtualHost *:80 has no VirtualHosts
[109] Comentário enviado por
mlevy em 24/09/2009 - 19:13h:
Li o tutorial do thundercache e gostei muito. Fiz todos os passos mas agora está acontecendo uma coisa interessante.
A internet funciona normalmente, mas os vídeos do youtube nem abrem. O que poderá ser?
[110] Comentário enviado por
arium em 24/09/2009 - 22:20h:
esta usando thunder 2 ou 3?
[111] Comentário enviado por
capitainkurn em 10/12/2009 - 00:00h:
Parabéns pelo excelente artigo!
Já está em meus favoritos!
Automatic ACL Blocking List - Sistema automático de listas de bloqueio de ACLs 
Versão para impressora
Indicar para um amigo
Enviar artigo