redirecionamendo de portas não funciona Squid3/Haarp

fsoaresr
(usa Ubuntu)

Enviado em 19/12/2014 - 17:31h

Senhores Boa tarde,

Depois de muito trabalho e pesquisa, consegui fazer meu squid3 fazer o cache que precisava, estou trabalhando com o haarp ( versão thundercache3) em paralelo, agora estou com um problema e espero que alguém possa me ajudar, o quadro é o seguinte:

Haarp funcionando fazendo cache e escutando porta 8080
Squid3 com uma placa de rede fazendo cache na porta 3128
Não estou utilizando proxy transparente ainda

Situação 1 - Quando coloco na maquina cliente a porta 3128 como proxy o squid faz cache, bloqueia, etc , mas não faz cache com o Haarp, somente entrega arquivos existentes

Situação 2 -Quando coloco na maquina cliente a porta 8080 como proxy o Haarp faz cache de vídeos, musicas,etc , mas não entrega ao squid3, não funciona bloqueios e demais regras do squid3 o

Acredito que seja alguma regra de redireccionamento de portas para integrar os dois, porém não estou encontrando nada a respeito na net tudo que encontrei foram regras para duas placas de rede mas meu cenário só tem uma.


ip do proxy 192.168.1.179 submask 255.255.255.0 gtw: 192.168.1.1

Segue squid conf:


# url_rewrite_program /usr/bin/squidGuard
http_port 3128
visible_hostname DOTNET

acl redelocal src 192.168.1.0/24 # rede interna
#acl localnet src 10.0.0.0/8 # RFC1918 possible internal network

acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 1863 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

# Configuracao do cache
cache_mem 750 MB
cache_swap_low 90
cache_swap_high 95

#cache_dir aufs /var/squid3/cache 50000 16 256
cache_dir ufs /var/squid3/cache/1 10000 16 256
cache_dir ufs /var/squid3/cache/2 10000 16 256
cache_dir ufs /var/squid3/cache/3 10000 16 256
cache_dir ufs /var/squid3/cache/4 10000 16 256
cache_dir ufs /var/squid3/cache/5 10000 16 256

minimum_object_size 1 kB
maximum_object_size 300 MB
maximum_object_size_in_memory 500 KB

access_log /var/log/squid3/access.log squid
cache_log /var/log/squid3/cache.log
#cache_store_log /var/log/squid3/store.log # Trava tudo
pid_filename /run/squid3.pid
mime_table /usr/share/squid3/mime.conf

cache_mgr dotnetlan@hotmail.com
memory_pools off

diskd_program /usr/lib/squid3/diskd
unlinkd_program /usr/lib/squid3/unlinkd

# acl cache-videos dstdomain -i "/etc/squid3/cache-videos/cache-videos.txt"
# cache allow cache-videos

#refresh_pattern ^ftp: 1440 20% 10080
#refresh_pattern ^gopher: 1440 0% 1440
#refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Packages(.gz)*)$ 0 20% 2880
#refresh_pattern . 0 20% 4320

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0 4320
refresh_pattern . 45 40% 4320

refresh_pattern -i \.(jpg|jpeg|gif|png|tiff|tif|svg|ico|css|js|vsd|doc|ppt|pps|xls|pdf|zip|gz|bz2|tgz|tar|rar|odc|odb|odf|odg|odi|odp|ods|odt|sxc|sxd|sxi|sxw|dmg|torrent|deb|msi|iso|rpm|mpg|mpeg|mov|avi|wmv|divx|swf|flv|rm|mp3|mp4|m4a|ogg|wav|wma|ra|mid)[/]*[\?]*$ 10080 90% 999999 ignore-no-cache override-expire ignore-private

refresh_pattern /(image|image_large|image_preview|image_mini|image_thumb|image_tile|image_icon|image_listing)[/]*[\?]*$ 1080 90% 999999

quick_abort_max -1 KB
quick_abort_pct 95
quick_abort_min -1 KB
range_offset_limit -1

detect_broken_pconn on
pipeline_prefetch on
fqdncache_size 1024
#request_header_max_size 20 KB
#reply_header_max_size 20 KB
#request_body_max_size 0 KB

##Listas de sites permitidos e proibidos
acl sites_proibidos url_regex -i "/etc/squid3/sites_proibidos.txt"
http_access deny sites_proibidos

# acl googlevideo dstdomain .googlevideo.com
# cache allow googlevideo
# acl youtube dstdomain .youtube.com
# cache allow youtube
# acl ytimg dstdomain .ytimg.com
# cache allow ytimg

acl get_requests urlpath_regex \?
acl fake_get_requests urlpath_regex \?$
cache allow get_requests !fake_get_requests

#acl post_requests method POST
#cache deny post_requests

acl cgibin urlpath_regex /cgi-bin/
cache allow cgibin

#acl ac_cookie req_header Cookie -i __ac
#acl zope_cookie req_header Cookie -i _ZopeId=
#cache deny ac_cookie
#cache deny zope_cookie

acl static_content urlpath_regex -i \.(jpg|jpeg|gif|png|tiff|tif|svg|ico|css|js|vsd|doc|ppt|pps|xls|pdf|zip|gz|bz2|tgz|tar|rar|odc|odb|odf|odg|odi|odp|ods|odt|sxc|sxd|sxi|sxw|dmg|torrent|deb|msi|iso|rpm|mpg|mpeg|mov|avi|wmv|divx|swf|flv|rm|mp3|mp4|m4a|ogg|wav|wma|ra|mid)[/]*[\?]*$
cache allow static_content

acl atimage_sizes urlpath_regex /(image|image_large|image_preview|image_mini|image_thumb|image_tile|image_icon|image_listing)[/]*[\?]*$
cache allow atimage_sizes
cache allow all

#acl manager proto cache_object
http_access allow manager localhost
#http_access deny manager

acl red_local src 192.168.1.0/24
http_access allow red_local

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow redelocal
http_access deny all

coredump_dir /var/spool/squid3

cache_mgr dotnelan@hotmail.com
mail_program mail
cache_effective_user proxy
cache_effective_group proxy
httpd_suppress_version_string off

error_directory /usr/share/squid3/errors/Portuguese

acl haarp_lst url_regex -i "/etc/haarp/haarp.lst"
cache deny haarp_lst
cache_peer 192.168.1.179 parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access 192.168.1.179 allow haarp_lst
cache_peer_access 192.168.1.179 deny all


Segue Haarp conf:

conto mais uma vez com a experiência dos companheiros,

Obrigado,

Fernando

buckminster
(usa Debian)

Enviado em 19/12/2014 - 21:58h

Tu deverás fazer o Squid escutar o HAARP colocando IP:porta no squid.conf e deverás adicionar uma linha cache_peer no squid.conf apontando para o proxy HAARP.

cache_peer hostname type http-port [options]

Exemplo:

http_port 3128
http_port xxx.xxx.xxx.xxx:8080

cache_peer nome_do_proxy_haarp parent 8080 default ou carp <<< aqui não lembro se o último parâmetro deve ser default ou carp.

Acredito que tu devas susbstituir esta linha

cache_peer 192.168.1.179 parent 8080 0 proxy-only no-digest

pela de cima.
Faz tempo que não faço cache_peer.

Veja:

http://www.vivaolinux.com.br/artigo/Manual-traduzido-do-Squid-Parte-3?pagina=2

fsoaresr
(usa Ubuntu)

Enviado em 21/12/2014 - 21:46h

Boa Noite,

A Configuração que funcionou é e carp, está funcionando, agora vem a ultima dúvida neste caso, quais configurações devo adicionar ao squid3 para tornar-lhe TRANSPARENTE pois tente alterar somente o http port com transparent e intercept e não funcionou, estou testando com o proxi direto nas estações ip 192.168.1.179 porta 3128,

Segue o squid.conf atual

# url_rewrite_program /usr/bin/squidGuard
http_port 3128
http_port 192.168.1.179:8080
visible_hostname DOTNET

acl redelocal src 192.168.1.0/24 # rede interna
#acl localnet src 10.0.0.0/8 # RFC1918 possible internal network

acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 1863 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT

# Configuracao do cache
cache_mem 750 MB
cache_swap_low 90
cache_swap_high 95

#cache_dir aufs /var/squid3/cache 50000 16 256
cache_dir ufs /var/squid3/cache/1 10000 16 256
cache_dir ufs /var/squid3/cache/2 10000 16 256
cache_dir ufs /var/squid3/cache/3 10000 16 256
cache_dir ufs /var/squid3/cache/4 10000 16 256
cache_dir ufs /var/squid3/cache/5 10000 16 256

minimum_object_size 1 kB
maximum_object_size 300 MB
maximum_object_size_in_memory 500 KB

access_log /var/log/squid3/access.log squid
cache_log /var/log/squid3/cache.log
#cache_store_log /var/log/squid3/store.log # Trava tudo
pid_filename /run/squid3.pid
mime_table /usr/share/squid3/mime.conf

cache_mgr dotnetlan@hotmail.com
memory_pools off

diskd_program /usr/lib/squid3/diskd
unlinkd_program /usr/lib/squid3/unlinkd

# acl cache-videos dstdomain -i "/etc/squid3/cache-videos/cache-videos.txt"
# cache allow cache-videos

#refresh_pattern ^ftp: 1440 20% 10080
#refresh_pattern ^gopher: 1440 0% 1440
#refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
#refresh_pattern (Release|Packages(.gz)*)$ 0 20% 2880
#refresh_pattern . 0 20% 4320

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0 4320
refresh_pattern . 45 40% 4320

refresh_pattern -i \.(jpg|jpeg|gif|png|tiff|tif|svg|ico|css|js|vsd|doc|ppt|pps|xls|pdf|zip|gz|bz2|tgz|tar|rar|odc|odb|odf|odg|odi|odp|ods|odt|sxc|sxd|sxi|sxw|dmg|torrent|deb|msi|iso|rpm|mpg|mpeg|mov|avi|wmv|divx|swf|flv|rm|mp3|mp4|m4a|ogg|wav|wma|ra|mid)[/]*[\?]*$ 10080 90% 999999 ignore-no-cache override-expire ignore-private

refresh_pattern /(image|image_large|image_preview|image_mini|image_thumb|image_tile|image_icon|image_listing)[/]*[\?]*$ 1080 90% 999999

quick_abort_max -1 KB
quick_abort_pct 95
quick_abort_min -1 KB
range_offset_limit -1

detect_broken_pconn on
pipeline_prefetch on
fqdncache_size 1024
#request_header_max_size 20 KB
#reply_header_max_size 20 KB
#request_body_max_size 0 KB

##Listas de sites permitidos e proibidos
acl sites_proibidos url_regex -i "/etc/squid3/sites_proibidos.txt"
http_access deny sites_proibidos

# acl googlevideo dstdomain .googlevideo.com
# cache allow googlevideo
# acl youtube dstdomain .youtube.com
# cache allow youtube
# acl ytimg dstdomain .ytimg.com
# cache allow ytimg

acl get_requests urlpath_regex \?
acl fake_get_requests urlpath_regex \?$
cache allow get_requests !fake_get_requests

#acl post_requests method POST
#cache deny post_requests

acl cgibin urlpath_regex /cgi-bin/
cache allow cgibin

#acl ac_cookie req_header Cookie -i __ac
#acl zope_cookie req_header Cookie -i _ZopeId=
#cache deny ac_cookie
#cache deny zope_cookie

acl static_content urlpath_regex -i \.(jpg|jpeg|gif|png|tiff|tif|svg|ico|css|js|vsd|doc|ppt|pps|xls|pdf|zip|gz|bz2|tgz|tar|rar|odc|odb|odf|odg|odi|odp|ods|odt|sxc|sxd|sxi|sxw|dmg|torrent|deb|msi|iso|rpm|mpg|mpeg|mov|avi|wmv|divx|swf|flv|rm|mp3|mp4|m4a|ogg|wav|wma|ra|mid)[/]*[\?]*$
cache allow static_content

acl atimage_sizes urlpath_regex /(image|image_large|image_preview|image_mini|image_thumb|image_tile|image_icon|image_listing)[/]*[\?]*$
cache allow atimage_sizes
cache allow all

#acl manager proto cache_object
http_access allow manager localhost
#http_access deny manager

acl red_local src 192.168.1.0/24
http_access allow red_local

http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access allow redelocal
http_access allow all

coredump_dir /var/spool/squid3

cache_mgr dotnelan@hotmail.com
mail_program mail
cache_effective_user proxy
cache_effective_group proxy
httpd_suppress_version_string off

error_directory /usr/share/squid3/errors/Portuguese

acl haarp_lst url_regex -i "/etc/haarp/haarp.lst"
cache deny haarp_lst
# cache_peer 192.168.1.179 parent 8080 0 proxy-only no-digest
cache_peer 192.168.1.179 parent 8080 0 carp
dead_peer_timeout 2 seconds
cache_peer_access 192.168.1.179 allow haarp_lst
cache_peer_access 192.168.1.179 deny all



Obrigado,

Fernando

buckminster
(usa Debian)

Enviado em 22/12/2014 - 13:25h

Se teu Squid é versão 3.0 ou abaixo o certo é transparent, caso for versão 3.1 ou acima o certo é intercept.
Execute squid3 -v e veja a versão.

Lembre-se que para proxy transparente tu deverás redirecionar no Iptables (ou no firewall que tu usas) a porta 80 para a porta 3128 do Squid.
Deverá ter uma regra parecida com esta:

iptables -t nat -A PREROUTING -i ethx -p tcp --dport 80 -j REDIRECT --to-port 3128

onde em ethx tu coloca a placa de rede que responde pela tua rede interna.

Talvez tu devas redirecionar a porta 8080 também, ficando duas regras como acima, somente troque 80 por 8080, ou faça uma regra só com multiportas no Iptables, tanto faz.

fsoaresr
(usa Ubuntu)

Enviado em 22/12/2014 - 20:11h

obrigado pelo suporte,

Efetuei a configuração,de re-direcionamento, meu squid v 3.3.8

coloquei manualmente em uma maquina: ip 192.168.1.189 submask 255.255.255.0
gateway 192.168.1.179 ( ip do meu servidor ( só tem 1 placa eth0!))
ao navegar o navegador informa que não teve resposta da página e não carrega nada,
só navega se configurar manualmente a porta e o IP nas opções de proxy do navegador,
na barra de status do navegador observei algo de resolvendo alguma coisa, não sei o que é..
O que pode ser???

Obrigado novamente,
Fernando

O que pode ser??

buckminster
(usa Debian)

Enviado em 23/12/2014 - 08:04h

Posta aqui o conteúdo do script do Iptables.

fsoaresr
(usa Ubuntu)

Enviado em 23/12/2014 - 15:50h

Boa tarde,

Este é o conteúdo do arquivo colocado na pasta etc/init.d para aplicação ao reiniciar a maquina, segundo os tutoriais de instalação do Haarp que segui até aqui:

# reglas_proxy.sh

sudo iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to 192.168.1.179
sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128
sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 8080 -j REDIRECT --to-port 3128
echo 1 > /proc/sys/net/ipv4/ip_forward


no arquivo etc/rc.local existe este conteúdo, que segundo o tutorial deveria aplicar as regras na reinicialização da maquina:

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.
# /usr/local/bin/firewall
/etc/init.d/reglas_proxy.sh
exit 0

Obrigado novamente,

Fernando

buckminster
(usa Debian)

Enviado em 23/12/2014 - 19:38h

Deixe assim o arquivo reglas_proxy.sh:

#!/bin/sh
# reglas_proxy.sh

iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to 192.168.1.179
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 8080 -j REDIRECT --to-port 3128
echo 1 > /proc/sys/net/ipv4/ip_forward

Salve a saia e dê permissão de execução:

# chmod +x /etc/init.d/reglas_proxy.sh

No /etc/rc.local coloques:

#!/bin/sh -e
#
# rc.local
#
# This script is executed at the end of each multiuser runlevel.
# Make sure that the script will "exit 0" on success or any other
# value on error.
#
# In order to enable or disable this script just change the execution
# bits.
#
# By default this script does nothing.
# /usr/local/bin/firewall
/etc/init.d/reglas_proxy.sh start

exit 0

Reinicie a máquina e teste.

fsoaresr
(usa Ubuntu)

Enviado em 23/12/2014 - 21:35h

Ola fiz as alterações funcionou em intercept mas agora o haarp deixou de fazer cache, estou com o squid fazendo cache de imagens em modo transparent , mas o haarp deixou de fazer o cache e de entregar o que ja está em cache,

o que devo fazer?

Obrigado novamente,

Fernando

fsoaresr
(usa Ubuntu)

Enviado em 23/12/2014 - 21:39h

buckminster
(usa Debian)

Enviado em 23/12/2014 - 22:37h

Colocou intercept nessas duas linhas?

http_port 3128
http_port 192.168.1.179:8080

fsoaresr
(usa Ubuntu)

Enviado em 26/12/2014 - 12:05h

bom dia, desculpe a demora na resposta, estava fazendo testes, não havia colocado intercept nas duas linhas, coloquei e o sarg está fazendo cache de algumas páginas, porém não está entregando nada as estações, o que devo fazer, pois anteriormente estava entregando.

Obrigado novamente,

Fernando