Internet Lenta com squid [RESOLVIDO]

sesshoumaru
(usa Debian)

Enviado em 26/07/2013 - 11:14h

Bom Dia!!!

Estou tendo problemas relacionado a internet da empresa que eu trabalho, o que acontece ao acessar a internet ela está normal porém ao passar algum tempo e mais pessoas se conectarem a internet começa a ficar muito lenta.
Tenho um servidor ldap + Squid e alguns momentos ele fica lento (inacessível) e em outros fica muito com a velocidade realmente temos.
Gostaria de saber se existe algum comando para testar a conexão no servidor.

AT.
Sesshoumaru.

vchacal
(usa Debian)

Enviado em 26/07/2013 - 12:01h

Aqui na empresa onde eu trabalho, eu tive que inserir um limite de download por arquivo. Onde só é possível baixar arquivos de até 50 MB, senão ficava impossível de trabalhar.

Apenas inseri esta linha no squid.conf

reply_body_max_size 50 MB localnet

 

Você pode ainda fazer um controle de banda, veja se os links abaixo te ajudam:

http://www.vivaolinux.com.br/artigo/Proxy-transparente-com-Squid-com-controle-de-banda-e-bloqueio-po...
http://www.hardware.com.br/livros/servidores-linux/gerenciando-uso-banda.html
http://www.vivaolinux.com.br/dica/Squid-Controle-de-banda-por-usuario-ou-IP

Você também pode verificar quem são os usuários que estão sobrecarregando sua rede com o iptraf e sabendo quem são ... aplicar algumas regras a eles.

Bom colega, só uma ideia ... existe outras formas que o pessoal aqui pode te explicar melhor.
De qualquer forma, espero ter ajudado.

Abraços.

nanatinho
(usa Debian)

Enviado em 26/07/2013 - 13:11h

Boa tarde.

Para verificar em tempo real o tráfego passando por alguma interface, faça um teste com o iftop:

iftop -n -N -P -i ethx


Abraço e fq com DEUS!!!

sesshoumaru
(usa Debian)

Enviado em 29/07/2013 - 08:51h

Amigo obrigado pela ajuda vou testar e já já posto o resultado, o problema é que a lentidão não tem um horário especifico, mas vou testar e posto o resultado.
Novamente Valeuuuu

sesshoumaru
(usa Debian)

Enviado em 29/07/2013 - 08:51h

Amigo obrigado pela ajuda vou testar e já já posto o resultado, o problema é que a lentidão não tem um horário especifico, mas vou testar e posto o resultado.
Novamente Valeuuuu

sesshoumaru
(usa Debian)

Enviado em 29/07/2013 - 08:52h

Amigo muito obrigado pela ajuda vou testar e depois falo.
Novamente Muito obrigado....

ranzes
(usa Slackware)

Enviado em 29/07/2013 - 11:00h

As informações passadas são vagas,

Antes de ficar chutando configurações é necessário seguir as premissas:

1 Poste parte do log de seu squid ( ideal é usar a opção full debugging X se eu não me engano para identificar possíveis erros.

2 Qual a versão do squid e como instalou (pacotes, source, etc..) e sistema.

3 Por último poste seu arquivo squid.conf para melhor compreenção.


Não fique chutando configurações sem ter certeza do real motivo.


Att,

Ranzes Tamar

sesshoumaru
(usa Debian)

Enviado em 30/07/2013 - 16:06h

Muito obrigado pela ajuda, segue as informações que vc me sugeriu que eu passasse.

Sistema Debian squeeze, squid 2.7 - stable 9- 2.1
============================= Configiguração=================================================================================================

http_port 127.0.0.1:3128
#127.0.0.1:3128 transparent
visible_hostname srvedu.educacional.118

#configuracao de cache
cache_mem 1024 MB
maximum_object_size_in_memory 64 KB
maximum_object_size 1024 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 5120 16 256
#cache_dir ufs /var/spool/squid 5120 128 256
#cache_dir diskd /var/spool/squid 20000 128 512
cache_access_log /var/log/squid/access.log
coredump_dir /var/spool/squid

cache_store_log none
logfile_rotate 3

error_directory /usr/share/squid/errors/Portuguese

#Poircentagem de uso do cache de disco minimo e maximo
cache_swap_low 90
cache_swap_high 95

#log de uso do cache em disco
cache_access_log /var/log/squid/cache.log

#Criacao da Acl de gerenciamento Rela-Time squid
#acl manager proto cache_object
#acl webserver src 10.189.67.232/255.255.255.255
#http_access allow manager webserver
#http_access deny manager

#teste para verificar velocidade da conexao


# Liberar Maquinas
#acl maquinas_liberadas src "/etc/squid/files/maquinas_liberadas"
#acl srvedu02 src 10.189.67.231
#http_access allow srvedu02
#http_access allow maquinas_liberadas


#criacao da acl all
acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl docentes src 10.189.64.128/255.255.255.192
acl biblioteca src 10.189.64.192/255.255.255.192


#Acl libera dominio
acl sitefree dstdomain "/etc/squid/files/dominio"
http_access allow sitefree

#delay_pools 1
#delay_class 1 2
#delay_parameters 1 114688/114688 16384/16348
#delay_access 1 allow all

#criacao da acl manager
acl manager proto cache_object

# FTP
ftp_passive on
ftp_list_width 16

#regras de atualizacao
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern . 15 20% 2280

#Libera site sem autenticacao
acl libsite url_regex -i "/etc/squid/files/libsite"
http_access allow libsite



#Autenticacao via Ldap
auth_param basic program /usr/lib/squid/ldap_auth -v 3 -b ou=Usuarios,dc=educacional,dc=118 -D cn=admin,dc=educacional,dc=118 -w senha -f uid=%s -h 127.0.0.1
auth_param basic children 5
auth_param basic realm Digite sua senha do dominio EDUCACIONAL
auth_param basic credentialsttl 5 minute

#----------ACL Libera Download------------
acl libdownload proxy_auth "/etc/squid/files/libdownload"
reply_body_max_size 10485760 deny all !libdownload

#
# -----------------------------------------------------------------------------

#***********************OPTIONS FOR TUNING THE CACHE***************************

# -----------------------------------------------------------------------------
#request_header_max_size 20 KB
#request_body_max_size 0 KB
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

#quick_abort_min 16 KB
#quick_abort_max 16 KB
#quick_abort_pct 95

negative_ttl 5 minutes
positive_dns_ttl 6 hours
negative_dns_ttl 1 minute
range_offset_limit 0 KB
forward_timeout 4 minutes
connect_timeout 1 minute
peer_connect_timeout 30 seconds
read_timeout 15 minutes
request_timeout 1 minutes
persistent_request_timeout 1 minute
client_lifetime 3 hours
half_closed_clients on
pconn_timeout 120 seconds
ident_timeout 10 seconds
shutdown_lifetime 30 seconds

acl autenticados proxy_auth REQUIRED

authenticate_ttl 2 minutes
authenticate_ip_ttl 3600 seconds

# CONEXOES DE USUARIOS POR IPs
acl ip_max max_user_ip -s 1

#criacao da acl Safe_ports
acl Safe_ports port 80 # http
acl Safe_ports port 8080 # http,tomcat
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 20 # ftp
acl Safe_ports port 993 # Imap SSL
acl Safe_ports port 6891 # Imap MSN
acl Safe_ports port 5800 #vnc


#external_acl_type perido %LOGIN /root/ldap/bin/periodo.sh
#acl ACL-PERIODO external periodo

#acl Bloqueia sites
#acl bloq_sites url_regex -i "/etc/squid/files/bloq_sites"
#http_access deny bloq_sites

# Administrador e Suporte
acl admin_permitido proxy_auth "/etc/squid/files/admin"

# Grupos de Docentes
acl usuario_bloqueados proxy_auth "/etc/squid/files/usuarios_bloqueados_redes"

# Liberados direto pelo administrador
acl alunos_permitidos proxy_auth "/etc/squid/files/alunos_permitidos"

acl ALUNOS-TECNICO-MANHA proxy_auth "/etc/squid/files/tecnico-manha"
acl ALUNOS-TECNICO-TARDE proxy_auth "/etc/squid/files/tecnico-tarde"
acl ALUNOS-INTEGRAL proxy_auth "/etc/squid/files/integral"
acl ALUNOS-MANHA proxy_auth "/etc/squid/files/manha"
acl ALUNOS-TARDE proxy_auth "/etc/squid/files/tarde"
acl ALUNOS-NOITE proxy_auth "/etc/squid/files/noite"

#Liberar maquina intervalos alunos
acl lib_mac arp "/etc/squid/files/lib_mac.txt"

#liberar por dominio
acl libdom dstdomain "/etc/squid/files/libdom.txt"

# Liberados pelos docentes
acl ALUNOS_PERMITIDOS proxy_auth "/etc/squid/files/internet/alunos_permitidos"
acl ORKUT proxy_auth "/etc/squid/files/internet/orkut_intervalo"

# Controle de Horarios
acl MANHA time MTWHF 07:45-11:40
acl TECNICO-MANHA time MTWHF 07:45-11:00
acl TECNICO-TARDE time MTWHF 14:00-17:10
acl INTEGRAL time MTWHF 07:45-17:10
acl TARDE time MTWHF 13:15-17:10
acl NOITE time MTWHF 17:00-22:45
acl HORA time MTWHFAS 07:45-22:45

# Intervalos liberados para acesso
acl INTERVALO-MANHA time MTWHF 09:15-09:55
acl INTERVALO-TARDE time MTWHF 14:45-15:25
acl INTERVALO-TECNICO-TARDE time MTWHF 15:25-15:55
acl INTERVALO-ALMOCO time MTWHF 11:35-13:15

#criacao de bloqueio do msn
acl lib-msn arp "/etc/squid/files/libmsn.txt"
acl srv-msn dst 207.46.110.0/24
acl port-msn port 1863
acl msn url_regex -i gateway.messenger.com
acl app-msn rep_mime_type -i ^application/x-msn-messenger$

acl CONNECT method CONNECT

icp_access allow all
miss_access allow all

http_access allow manager localhost
http_access deny manager
http_access deny msn !lib-msn
http_access deny app-msn
http_access deny port-msn
http_access deny srv-msn
http_access deny docentes !admin_permitido

http_access deny CONNECT !Safe_ports

http_access deny usuario_bloqueados !biblioteca
http_access allow alunos_permitidos biblioteca

http_access allow port-msn !lib-msn
http_access allow app-msn !lib-msn
http_access allow srv-msn !lib-msn

# Nega todos por horario, porem libera nos intervalos, libera alunos fora do horario excecao
# Horario Intervalo Lista Usuarios Excecao

http_access deny MANHA !INTERVALO-MANHA ALUNOS-MANHA !ALUNOS_PERMITIDOS
http_access deny TECNICO-MANHA !INTERVALO-MANHA ALUNOS-TECNICO-MANHA !ALUNOS_PERMITIDOS
http_access deny TECNICO-TARDE !INTERVALO-TECNICO-TARDE ALUNOS-TECNICO-TARDE !ALUNOS_PERMITIDOS
http_access deny TARDE !INTERVALO-TARDE ALUNOS-TARDE !ALUNOS_PERMITIDOS
http_access deny HORA !NOITE ALUNOS-NOITE !ALUNOS_PERMITIDOS

#Integral
# Horario Intervalos Lista Usuarios Excecao
http_access deny INTEGRAL !INTERVALO-MANHA !INTERVALO-ALMOCO !INTERVALO-TARDE ALUNOS-INTEGRAL !ALUNOS_PERMITIDOS


#http_access deny ALUNOS-INTEGRAL

#http_access deny ORKUT libdom !INTERVALO-MANHA !INTERVALO-ALMOCO !INTERVALO-TARDE !ALUNOS_PERMITIDOS

#http_access deny OverConnLimit

http_access deny ip_max

# Liberar maquinas por mac no intervalo
#http_access allow lib_mac

http_access allow autenticados
#http_access deny localhost all docentes biblioteca
http_access deny localhost all

#http_reply_access allow all
#icp_access allow all
================================================================================================================================
Novamente muito obrigado pela ajuda.
at.
Sesshoumaru

rahremix
(usa Arch Linux)

Enviado em 30/07/2013 - 16:21h

Quais as configurações de hardware do seu servidor?
Você já verificou o uso de memória RAM e de CPU durante os picos de lentidão?
Você faz cache em disco? Já verificou se o seu disco não apresenta erros de leitura?

Faço essas perguntas porque já passei por situações de lentidão por conta de erros de leitura em disco, e também por picos de consumo de CPU do processo do squid.

sesshoumaru
(usa Debian)

Enviado em 30/07/2013 - 16:45h

Obrigado pela ajuda.
Fiz o monitoramento o dia todo através do webmim e a memoria não passa de 3 GB (tenho 16 GB) mesmo nos horários críticos, oh HD também não estou vendo nenhum problema, tem espaço de sobra 90 GB.
Realmente não sei o que pode ser tem momentos que a internet fica muito lenta e outras que ela navega normalmente, porém existe algum comando para eu fazer a checagem de leitura / escrita do hd?

Obrigado novamente pela ajuda.

At.
Sesshoumaru.

sesshoumaru
(usa Debian)

Enviado em 30/07/2013 - 16:48h

Uma informação importante que esqueci é que o meu squid trabalha junto com o dansguardian.

ranzes
(usa Slackware)

Enviado em 01/08/2013 - 10:03h

Bem sua configuração aparente está correta.

você mensionou que utiliza Dansguardian. Eu iniciamente desativaria para eliminar outras possibilidades.

Outra coisa.
Você dimensionou 1Gb de memória para o squid e configurou o tamanho máximo de um objeto em memória 64kb nos dias atuais encontrará coisas muito maiores e sites mal dimensionado as imagens.
Como não sei a real quantidade de usuários simultâneos em sua rede fica dificil dimensionar mas sugiro 256kb.
Outra coisa se você procurar na net sobre tunning de squid irá perceber que existe vários fatores de disco agregados.

No meu caso uso uma partição exclusiva para isso em reiserfs que é a partição que os especialistas sugerem e o sistema interno do squid em aufs
no meu caso tive um ganho considerável.

Outra coisa importante é verificar o tempo de resolução de nomes nessa máquina (DNS) e a latência des Ping que obviamente irá impactar diretamente no resultado da pesquisa.

e por último usar a última versão estável do squid que é nesse momento 3.3.8 e compilar com a opção --with-dl (dynamic links) irá obter várias vantagens e redução e problemas em diversos sites.

Segue alguns parâmetros que costumo usar:
cache_mem 1 GB
cache_swap_low 90
cache_swap_high 95

maximum_object_size 1 GB
minimum_object_size 0 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
maximum_object_size_in_memory 256 KB
log_fqdn off


#FIX
ipcache_low 98
ipcache_high 99
ipcache_size 16378

cache_effective_user squid
cache_dir aufs /cache 38000 64 256

server_persistent_connections off
client_persistent_connections off

cache_store_log none
cache_log none
coredump_dir /var/spool/squid


Att,

Ranzes Tamar
cache_access_log /var/log/squid/access.log
error_directory /usr/share/squid/errors/Portuguese



refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern (Release|Packages(.gz)*)$ 0 20% 2880
refresh_pattern . 0 20% 4320
refresh_pattern windowsupdate.com/.*\.(cab|exe|dll|msi) 10080 100% 43200 reload-into-ims
refresh_pattern download.microsoft.com/.*\.(cab|exe|dll|msi) 10080 100% 43200 reload-into-ims
refresh_pattern www.microsoft.com/.*\.(cab|exe|dll|msi) 10080 100% 43200 reload-into-ims
refresh_pattern au.download.windowsupdate.com/.*\.(cab|exe|dll|msi) 4320 100% 43200 reload-into-ims
refresh_pattern -i \.(gif|png|jpg|jpeg|ico|bmp|swf)$ 10080 90% 43200 override-expire ignore-no-cache ignore-private
refresh_pattern -i \.(iso|avi|wav|mp3|mp4|mpeg|swf|flv|x-flv|mpg|mpg2)$ 43200 90% 432000 override-expire ignore-no-cache ignore-private
refresh_pattern -i \.(deb|rpm|exe|zip|tar|tgz|ram|rar|bin|ppt|doc|tiff|xls)$ 10080 90% 43200 override-expire ignore-no-cache ignore-private
refresh_pattern -i \.index.(html|htm|php)$ 0 40% 10080
refresh_pattern -i \.(html|htm|css|js|asp|php)$ 1440 40% 40320