Paginas Quebradas com Squid [RESOLVIDO]

1. Paginas Quebradas com Squid [RESOLVIDO]

Guttierre Rodrigues Gomes
guttierre

(usa Debian)

Enviado em 11/01/2012 - 18:58h

Galera, eu tenho aqui na empresa um squid rodando com white list, porém quando abro alguns sites como youtube, globoesporte.com, as paginas aparecem incompletas, as imagens não carregam, acredito eu que sejem principalmente as imagens gifs/flv.

Detalhe, eu tenho aqui um modem roteado, uso apenas uma placa (eth1) no servidor web-proxy (Squid) que usa gateway do modem roteado, quando estou na estação testando o squid e mudo o gateway direto pro modem, os sites abrem normal, deixando as paginas (ex: youtube) abertas, eu troco o gateway pro servidor web-proxy, dai quando dou f5 elas carregam normal, como se o squid não tivesse problema algum em carregas as paginas antes com problema.

O meu squid.conf é esse:


http_port 192.168.102.251:3128 transparent
visible_hostname SERVER03
error_directory /usr/share/squid/errors/pt-br/

cache_mem 1024 MB
maximum_object_size_in_memory 64 KB
maximum_object_size 512 MB
minimum_object_size 2 KB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 4096 16 256
cache_access_log /var/log/squid/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 21 80 443 563 70 210 280 488 59 777 901 1025-65535
acl purge method PURGE
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

# Cache Videos #

refresh_pattern -i \.(mp3|mp4|m4a|ogg|mov|avi|wmv)$ 10080 90% 999999 ignore-no-cache override-expire ignore-private

acl youtube dstdomain .youtube.com

cache allow youtube


#acl site dstdomain caixa.gov.br
#always_direct allow site

#acl sites_bloqueados url_regex -i "/etc/squid/sites_bloqueados"
#http_access deny sites_bloqueados

acl arquivos_permitidos url_regex -i "/etc/squid/arquivos_permitidos"
http_access allow arquivos_permitidos

#acl palavras_bloqueadas dstdom_regex "/etc/squid/palavras_bloqueadas"
#http_access deny palavras_bloqueadas

acl sites_permitidos url_regex -i "/etc/squid/sites_permitidos"
http_access allow sites_permitidos
http_access deny all



acl redelocal src 192.168.102.0/24
http_access allow localhost
http_access allow redelocal

http_access deny all




  


2. Re: Paginas Quebradas com Squid [RESOLVIDO]

Adriano Rodrigues Balani
balani

(usa Slackware)

Enviado em 11/01/2012 - 21:40h

Cara quase certeza que é alguma extensão de imagens que está bloqueando.


3. Re: Paginas Quebradas com Squid [RESOLVIDO]

Renato Carneiro Pacheco
renato_pacheco

(usa Debian)

Enviado em 12/01/2012 - 01:33h

Olhe nos logs em /var/log/squid/access.log e veja os TCP_DENIED referente aos sites "quebrados".


4. Re: Paginas Quebradas com Squid [RESOLVIDO]

Guttierre Rodrigues Gomes
guttierre

(usa Debian)

Enviado em 12/01/2012 - 08:07h

Eu não estou no trabalho agora, mas daqui a pouco eu irei postar o resultado do log.

No inicio não abria nenhuma imagem, eu olhei o log e ele bloqueava muitas imagens png, ou outra imagem, eu adicionei uma ACL para extensões e coloquei algumas extensões de imagem, porém o problema se resolveu parcialmente, pois banners e streamings com tecnologia flv não rodam por nada.

Queria até que alguem olhasse e visse se a ACL para extensoes está correta.


acl arquivos_permitidos url_regex -i "/etc/squid/arquivos_permitidos"
http_access allow arquivos_permitidos


Alguem poderia me indicar como usar o comando always direct alow em uma ACL ? Queria saber se isso poderia resolver o meu problema.


5. Re: Paginas Quebradas com Squid [RESOLVIDO]

Guttierre Rodrigues Gomes
guttierre

(usa Debian)

Enviado em 12/01/2012 - 10:56h

Pessoal, segue o log do site youtube.com


1245948098.632 680 192.168.102.80 TCP_MISS/200 17028 GET http://www.youtube.com/ - DIRECT/74.125.234.69 text/html
1245948098.646 694 192.168.102.80 TCP_MISS/200 1581 POST http://translate.googleapis.com/translate_a/t? - DIRECT/74.125.65.95 text/javascript
1245948099.267 0 192.168.102.80 TCP_DENIED/403 1528 GET http://s.ytimg.com/yt/swf/masthead_child-vflRMMO6_.swf - NONE/- text/html
1245948099.303 0 192.168.102.80 TCP_DENIED/403 1724 GET http://ad-g.doubleclick.net/N6762/adi/mkt.ythome_1x1/;sz=1x1;tile=3;klg=pt;kt=K;kga=-1;kgg=-1;kcr=br...? - NONE/- text/html
1245948099.352 0 192.168.102.80 TCP_DENIED/403 1492 GET http://loading4.widdit.com/analyze/? - NONE/- text/html
1245948099.371 0 192.168.102.80 TCP_DENIED/403 1502 GET http://loading.retry.widdit.com/analyze/? - NONE/- text/html
1245948099.371 0 192.168.102.80 TCP_DENIED/403 1522 GET http://s.ytimg.com/yt/favicon-refresh-vfldLzJxy.ico - NONE/- text/html
1245948099.381 0 192.168.102.80 TCP_DENIED/403 1474 GET http://csi.gstatic.com/csi? - NONE/- text/html
1245948099.521 0 192.168.102.80 TCP_DENIED/403 1498 GET http://clients1.google.com/generate_204 - NONE/- text/html
1245948099.559 0 192.168.102.80 TCP_DENIED/403 1522 GET http://s.ytimg.com/yt/favicon-refresh-vfldLzJxy.ico - NONE/- text/html



Log do site globoesporte.com

245948441.289 206 192.168.102.80 TCP_MISS/200 3958 GET http://s.glbimg.com/po/an/v/zoom/27/2012/01/12/105018/1.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.368 186 192.168.102.80 TCP_MISS/200 2708 GET http://s.glbimg.com/po/an/v/zoom/27/2012/01/12/105018/2.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.398 192 192.168.102.80 TCP_MISS/200 3273 GET http://s.glbimg.com/po/an/v/zoom/27/2012/01/12/105018/3.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.438 204 192.168.102.80 TCP_MISS/200 4401 GET http://s.glbimg.com/po/an/v/zoom/27/2012/01/12/105018/4.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.482 225 192.168.102.80 TCP_MISS/200 4964 GET http://s.glbimg.com/po/an/m/s/vitrine/patrocinio/zoom_100x30_vitrine-globo________.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.575 281 192.168.102.80 TCP_MISS/200 4344 GET http://s.glbimg.com/po/an/v/zoom/28/2012/01/12/104702/0.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.581 639 192.168.102.80 TCP_MISS/200 6425 GET http://s.glbimg.com/po/an/m/s/vitrine/patrocinio/Netshoes_sem_Assinatura_vitrine_globo___.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.624 252 192.168.102.80 TCP_MISS/200 4847 GET http://s.glbimg.com/po/an/v/zoom/28/2012/01/12/104702/1.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.660 259 192.168.102.80 TCP_MISS/200 3959 GET http://s.glbimg.com/po/an/v/zoom/28/2012/01/12/104702/2.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.681 239 192.168.102.80 TCP_MISS/200 2332 GET http://s.glbimg.com/po/an/v/zoom/28/2012/01/12/104702/3.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.757 271 192.168.102.80 TCP_MISS/200 2612 GET http://s.glbimg.com/po/an/v/zoom/28/2012/01/12/104702/4.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.776 724 192.168.102.80 TCP_MISS/200 13496 GET http://www.google-analytics.com/ga.js - DIRECT/74.125.234.72 text/javascript
1245948441.822 242 192.168.102.80 TCP_MISS/200 4962 GET http://s.glbimg.com/po/an/m/s/vitrine/patrocinio/zoom_100x30_vitrine-globo_________.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.845 260 192.168.102.80 TCP_MISS/200 2594 GET http://s.glbimg.com/po/an/v/zoom/30/2012/01/12/105041/0.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.882 253 192.168.102.80 TCP_MISS/200 4076 GET http://s.glbimg.com/po/an/v/zoom/30/2012/01/12/105041/1.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.912 248 192.168.102.80 TCP_MISS/200 3439 GET http://s.glbimg.com/po/an/v/zoom/30/2012/01/12/105041/2.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.942 258 192.168.102.80 TCP_MISS/200 3343 GET http://s.glbimg.com/po/an/v/zoom/30/2012/01/12/105041/3.jpg - DIRECT/186.192.82.11 image/jpeg
1245948441.979 217 192.168.102.80 TCP_MISS/200 4000 GET http://s.glbimg.com/po/an/v/zoom/30/2012/01/12/105041/4.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.025 200 192.168.102.80 TCP_MISS/200 4975 GET http://s.glbimg.com/po/an/m/s/vitrine/patrocinio/zoom_100x30_vitrine-globo__________.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.032 183 192.168.102.80 TCP_MISS/200 513 GET http://www.google-analytics.com/__utm.gif? - DIRECT/74.125.234.72 image/gif
1245948442.067 216 192.168.102.80 TCP_MISS/200 3728 GET http://s.glbimg.com/po/an/v/zoom/29/2012/01/12/104720/0.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.099 214 192.168.102.80 TCP_MISS/200 3477 GET http://s.glbimg.com/po/an/v/zoom/29/2012/01/12/104720/1.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.135 220 192.168.102.80 TCP_MISS/200 3896 GET http://s.glbimg.com/po/an/v/zoom/29/2012/01/12/104720/2.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.156 210 192.168.102.80 TCP_MISS/200 2367 GET http://s.glbimg.com/po/an/v/zoom/29/2012/01/12/104720/3.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.184 202 192.168.102.80 TCP_MISS/200 3094 GET http://s.glbimg.com/po/an/v/zoom/29/2012/01/12/104720/4.jpg - DIRECT/186.192.82.11 image/jpeg
1245948442.229 199 192.168.102.80 TCP_MISS/200 4964 GET http://s.glbimg.com/po/an/m/s/vitrine/patrocinio/zoom_100x30_vitrine-globo___________.jpg - DIRECT/186.192.82.11 image/jpeg
1245948443.408 3169 192.168.102.80 TCP_MISS/200 2000 GET http://ads.img.globo.com/RealMedia/ads/Creatives/js/oas_flash_float_2011.js - DIRECT/201.7.179.129 application/x-javascript
1245948443.648 96 192.168.102.80 TCP_MISS/200 766 GET http://s.glbimg.com/bu/i/feedback_busca-x.png - DIRECT/186.192.82.11 image/png
1245948443.711 0 192.168.102.80 TCP_DENIED/403 1492 GET http://loading1.widdit.com/analyze/? - NONE/- text/html
1245948443.718 0 192.168.102.80 TCP_DENIED/403 1502 GET http://loading.retry.widdit.com/analyze/? - NONE/- text/html
1245948443.757 253 192.168.102.80 TCP_MISS/200 5199 GET http://s.videos.globo.com/p2/i/play.png - DIRECT/186.192.82.11 image/png
1245948443.798 213 192.168.102.80 TCP_MISS/200 4425 GET http://s.glbimg.com/bu/rt/js/glb-rt-min.js - DIRECT/186.192.82.11 application/javascript
1245948443.805 145 192.168.102.80 TCP_MISS/200 797 GET http://s.glbimg.com/bu/i/feedback_busca-seta.png - DIRECT/186.192.82.11 image/png
1245948443.830 169 192.168.102.80 TCP_MISS/200 2677 GET http://s.glbimg.com/bu/i/feedback_busca-icone.png - DIRECT/186.192.82.11 image/png
1245948443.862 188 192.168.102.80 TCP_MISS/200 513 GET http://www.google-analytics.com/__utm.gif? - DIRECT/74.125.234.72 image/gif
1245948443.921 418 192.168.102.80 TCP_MISS/200 14704 GET http://s01.video.glbimg.com/x216/1764588.jpg - DIRECT/186.192.82.166 image/jpeg
1245948443.949 342 192.168.102.80 TCP_MISS/200 2565 GET http://barra.globo.com/nova/js/barra-globocom.min.js - DIRECT/186.192.82.24 application/javascript
1245948443.962 331 192.168.102.80 TCP_MISS/200 1220 GET http://globoesporte.globo.com/dynamo/ticker/5/noticias.jsonp? - DIRECT/186.192.82.9 application/javascript
1245948444.030 203 192.168.102.80 TCP_MISS/200 1630 GET http://s.glbimg.com/es/ge/media/globoesporte/json/globoesporte-home.js? - DIRECT/186.192.82.11 application/javascript
1245948444.108 431 192.168.102.80 TCP_MISS/200 2090 GET http://globoesporte.globo.com/dynamo/futebol/campeonato/todos.json - DIRECT/186.192.82.9 application/javascript
1245948444.118 440 192.168.102.80 TCP_MISS/200 962 GET http://globoesporte.globo.com/dynamo/futebol/campeonato/copasaopaulo/copasaopaulo-2012/widget_classi... - DIRECT/186.192.82.9 application/javascript
1245948444.123 427 192.168.102.80 TCP_MISS/200 513 GET http://www.google-analytics.com/__utm.gif? - DIRECT/74.125.234.74 image/gif
1245948444.193 221 192.168.102.80 TCP_MISS/200 1428 GET http://barra.globo.com/nova/img/sprite_barra.png - DIRECT/186.192.82.24 image/png
1245948444.252 686 192.168.102.80 TCP_MISS/200 12288 GET http://s04.video.glbimg.com/x216/1764019.jpg - DIRECT/186.192.82.166 image/jpeg
1245948444.309 647 192.168.102.80 TCP_MISS/200 11947 GET http://s04.video.glbimg.com/x216/1764491.jpg - DIRECT/186.192.82.166 image/jpeg
1245948444.334 371 192.168.102.80 TCP_MISS/200 2599 GET http://sawpf.com/1.0.js - DIRECT/186.192.82.174 application/javascript
1245948444.409 450 192.168.102.80 TCP_MISS/200 401 GET http://rt.globo.com/pv.gif? - DIRECT/201.7.176.217 image/gif
1245948444.551 419 192.168.102.80 TCP_MISS/200 460 GET http://b.scorecardresearch.com/c2/6035227/cs.js - DIRECT/208.29.69.153 application/x-javascript
1245948444.577 443 192.168.102.80 TCP_MISS/302 836 GET http://b.scorecardresearch.com/p? - DIRECT/208.29.69.153 -
1245948444.695 111 192.168.102.80 TCP_MISS/200 423 GET http://b.scorecardresearch.com/p2? - DIRECT/208.29.69.153 image/gif
1245948445.111 386 192.168.102.80 TCP_MISS/200 32110 GET http://ads.img.globo.com/RealMedia/ads/Creatives/globocom/nshoes_14_002_netshoes_120112/300X250_glob... - DIRECT/201.7.179.129 application/x-shockwave-flash
1245948445.305 496 192.168.102.80 TCP_MISS/200 996 GET http://s.glbimg.com/es/ge/media/globoesporte/img/favicon.png - DIRECT/186.192.82.11 image/png
1245948449.836 0 192.168.102.80 TCP_DENIED/403 1500 POST http://tools.google.com/service/update2? - NONE/- text/html
1245948449.846 0 192.168.102.80 TCP_DENIED/403 1500 POST http://tools.google.com/service/update2? - NONE/- text/html
1245948454.660 0 192.168.102.80 TCP_DENIED/403 1514 GET http://clients2.google.com/service/update2/crx? - NONE/- text/html




6. Re: Paginas Quebradas com Squid [RESOLVIDO]

Phillip Vieira
phrich

(usa Slackware)

Enviado em 12/01/2012 - 13:49h

Cara como vc fazo bloqueio por palavras acontece o seguinte, alguns sites, pegam imagens de outros sites, sendo assim vc precisa liberar eles também, vejamos:

Vamos supor que vc queira liberar o site site1.com e ele pegue as imagens de site2.com, vc deve procurar nos logs o momento do acesso, para isto, proceda da seguinte maneira:

# tail -f /var/log/squid3/access.log | grep ip_da_estacao_que_vai_acessar_o_site | grep -i denied

Daí vc vai ver em tempo real o que está sendo acessado por aquele ip, ai vc pode liberar estes sites.


7. Re: Paginas Quebradas com Squid [RESOLVIDO]

Guttierre Rodrigues Gomes
guttierre

(usa Debian)

Enviado em 12/01/2012 - 18:17h

phrich

Cara, realmente é isso, usei o comando que voce me passou e liberei o acesso aos sites, correu tudo bem...

Obrigado pela ajuda.


8. Re: Paginas Quebradas com Squid [RESOLVIDO]

Perfil removido
removido

(usa Nenhuma)

Enviado em 20/01/2012 - 10:11h

O squid não é a melhor opção para fazer filtragem. Por que vc ñ usa o dansguardian? O conceito desse índice é bem simples de se entender: Em um arquivo no seu servidor DG você define palavras e/ou frases que quando encontradas em uma página da Web somam alguns pontos, que já deverão ter sido pré-determinados por você. Após analisar toda a página, o DG define, de acordo com a pontuação acumulada por aquela página, se ela será liberada ou não. Se no servidor você definiu o índice de senvergonhice em 150 pontos, toda página que alcançar esse valor será bloqueada.


9. Show

Flavio Guimaraes
majorflavio

(usa Debian)

Enviado em 26/12/2012 - 16:02h

Phrich, show de bola essa dica. Ajudou a mim tb. Parabéns.