Internet ficando muito lenta. [RESOLVIDO]

1. Internet ficando muito lenta. [RESOLVIDO]

FLAVIO GOMES BERNARDES
flaviog

(usa CentOS)

Enviado em 03/04/2013 - 07:13h

Pessoal estou passando por um problema na empresa que trabalho, agluma coisa esta fazendo a internet ficar muito lenta quase impossivel de navegar e pessoal ta reclamando demais e com razao. Nao estou conseguindo encontrar o problema por favor me ajudem...

informacoes para que alguem possa ajudar.
SO = CentOS 6.2 x86_64
Processador = AMD Phenom(tm) II X6 1090T Processor 800 MHz
Memoria = 15GB
Swap = 2GB
Hd = 2T em raid 1.

quando uso o comando free -mt

total used free shared buffers cached
Mem: 15698 15403 294 0 1443 8808
-/+ buffers/cache: 5152 10546
Swap: 1997 0 1997
Total: 17696 15403 2292

quando uso o comando top
top - 06:46:15 up 7 days, 18:49, 5 users, load average: 0.00, 0.02, 0.00
Tasks: 369 total, 1 running, 367 sleeping, 0 stopped, 1 zombie
Cpu(s): 1.5%us, 0.7%sy, 0.0%ni, 97.4%id, 0.2%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 16075404k total, 15772972k used, 302432k free, 1477868k buffers
Swap: 2045944k total, 32k used, 2045912k free, 9019616k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
9 root 20 0 0 0 0 S 2.0 0.0 0:36.28 ksoftirqd/1
5299 root 20 0 916m 146m 30m S 2.0 0.9 1:27.79 firefox
6678 root 20 0 112m 41m 3764 S 2.0 0.3 1:25.29 Xvnc
6862 root 20 0 1607m 26m 14m S 2.0 0.2 195:01.09 knotify4
1 root 20 0 19328 1400 1092 S 0.0 0.0 0:02.52 init

quanto uso o comando htop
1 media de 8.5%
2 media de 11.0%
3 media de 3.8%
4 media de 1.9%
5 media de 0.0%
6 media de 2.0$
Mem 5000/15698MB
Swp 0/1997MB
--------------------------------------
os processos ordenados por uso de memoria
kav4proxy
openfire
squid
-----------------------------------------
meu squid.conf

http_port 8080
visible_hostname Internet_Server

# Configuração do cache
cache_mem 4048 MB
maximum_object_size_in_memory 5096 KB
maximum_object_size 500 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
#cache_dir ufs /mnt/hdb/spool 2048 16 256
cache_dir ufs /var/spool/squid 100048 16 256

# Localização do log de acessos do Squid
cache_access_log /var/log/squid/access.log

refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 90 # site affego
acl Safe_ports port 1078 #conectividade social
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1863-65535 # unregistered ports
acl Safe_ports port 1025-1862 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl Safe_ports port 5017 # teste de conexao dataprev
acl Safe_ports port 10000 # webmin
acl Safe_ports port 11000 # Curriculo Web
acl purge method PURGE
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access allow CONNECT !SSL_ports

#Não faz cache de sites especificos
#acl block url_regex "/etc/squid/semcache"
acl acl_kav_GET method GET

acl NOCACHE url_regex -i www.trt18.jus.br:8888
no_cache deny NOCACHE

# Bloqueio de sites independente do nivel de permissao, bloqueia inclusive para administradores
acl block url_regex "/etc/squid/block.txt"
http_access deny block

#bloqueia o gtalk no navegador
acl blocktlk url_regex -i chatenabled
http_access deny blocktlk

# Autenticação dos usuários
auth_param basic program /usr/lib64/squid/ncsa_auth /etc/squid/usuarios_ori
acl autenticados proxy_auth REQUIRED
auth_param basic realm Entre com seu Login e Senha
http_access allow autenticados


# Libera para a rede local
acl redelocal src 172.16.0.0/16
http_access allow localhost
http_access allow redelocal

# ACLS
acl bandabaixa proxy_auth -i "/etc/squid/baixa.txt"
acl bandamedia proxy_auth -i "/etc/squid/media.txt"
acl bandaalta proxy_auth -i "/etc/squid/alta.txt"

# Delay Pools

delay_pools 3
delay_class 1 2
delay_class 2 2
delay_class 3 2

delay_access 1 allow bandabaixa
delay_access 2 allow bandamedia
delay_access 3 allow bandaalta

delay_parameters 1 -1/-1 625000/625000
delay_parameters 2 -1/-1 1250000/1250000
delay_parameters 3 -1/-1 -1/-1

# Bloqueia acessos externos
#http_access deny all

Por favor alguem pode me ajudar, quando chega pelas 08 horas a internet senta feio. Se reiniciar o squid parace que começa muito bem mas logo novamente senta. As 12:00 melhora um pouco e as 13:20 volta a sentar e as 17:00 melhora bem. Esses horario sao aproximados, ate parece ser uma estação que quando a pessoa chega e a liga e no almoço a desliga e tarde ao ir embora, "ate parece...".
Ja estou ficando sem graça porque nao encontro o problema, agora estou rodando o ntop monitorando as interfaces eth0 e eth1 mas nao tenho conhecimento com ele entao a analise pode demorar.

Se alguem puder, por favor...



  


2. Re: Internet ficando muito lenta. [RESOLVIDO]

Francisco Wótila C. Cruz
wotila_carneiro

(usa Ubuntu)

Enviado em 03/04/2013 - 07:42h

Como está o cache do squid?


3. Re: Internet ficando muito lenta. [RESOLVIDO]

FLAVIO GOMES BERNARDES
flaviog

(usa CentOS)

Enviado em 03/04/2013 - 22:21h

Aparentimento normal, com 62GB e no log nada de mostre algo de estranho.
Mas hoje coloque dentro do squid.conf

dns_nameservers 8.8.8.8 8.8.4.4
E aparentimente a internet esta normalizando, ou seja, parece que estava relacionado a resolução de nomes. Vamos ver torama que seja so isso mesmo.




4. Re: Internet ficando muito lenta. [RESOLVIDO]

FLAVIO GOMES BERNARDES
flaviog

(usa CentOS)

Enviado em 06/04/2013 - 23:47h

Estou desconfiado que alguma coisa na configuração do squid.
Olhando o log de cache apareceu as seguintes mensagens:

WARNING: All basicauthenticator processes are busy.
WARNING: 5 pending requests queued
Consider increasing the number of basicauthenticator processes in your config file.

Essas mensagens foi bem na hora que a internet deu uma travada ficando muito lenta. Em seguida todas as urls nao foram possiveis serem abertas. segue msg.

Preparing for shutdown after 163081 requests
Waiting 30 seconds for active connections to finish
FD 26 Closing HTTP connection
Shutting down...
AuthUserHashPointer::removeFromCache: entry in use - no freeing. (varias dessa linha)

Aparece muito tambem no log
127.0.0.1 idle connection e
Reading next request.

outra msg
assertion failed: AclProxyAuth.cc:229: "authenticateUserAuthenticated(Filled(checklist)->auth_user_request)"


Parece se alguma limitação de conexao, alguem ja passou por isso?

Gostaria de saber se tem uma regra para configurar o cache do squid.

Tenho um hd de 300GB, 8GB de memoria. Ja alguns escrevendo na net de 50% da memoria ram outros escrevem 75%. Ainda nao consegui encontrar uma explicacao clara de como configurar isso no squid.




5. Re: Internet ficando muito lenta. [RESOLVIDO]

Buckminster
Buckminster

(usa Debian)

Enviado em 07/04/2013 - 03:56h

Qual versão do Squid que você está usando?


6. Re: Internet ficando muito lenta. [RESOLVIDO]

André Romero Alves de Souza
arasouza

(usa Debian)

Enviado em 07/04/2013 - 06:33h

flaviog escreveu:

Estou desconfiado que alguma coisa na configuração do squid.
Olhando o log de cache apareceu as seguintes mensagens:

WARNING: All basicauthenticator processes are busy.
WARNING: 5 pending requests queued
Consider increasing the number of basicauthenticator processes in your config file.

Essas mensagens foi bem na hora que a internet deu uma travada ficando muito lenta. Em seguida todas as urls nao foram possiveis serem abertas. segue msg.

Preparing for shutdown after 163081 requests
Waiting 30 seconds for active connections to finish
FD 26 Closing HTTP connection
Shutting down...
AuthUserHashPointer::removeFromCache: entry in use - no freeing. (varias dessa linha)

Aparece muito tambem no log
127.0.0.1 idle connection e
Reading next request.

outra msg
assertion failed: AclProxyAuth.cc:229: "authenticateUserAuthenticated(Filled(checklist)->auth_user_request)"


Parece se alguma limitação de conexao, alguem ja passou por isso?

Gostaria de saber se tem uma regra para configurar o cache do squid.

Tenho um hd de 300GB, 8GB de memoria. Ja alguns escrevendo na net de 50% da memoria ram outros escrevem 75%. Ainda nao consegui encontrar uma explicacao clara de como configurar isso no squid.



Cara eu tive esse probleminha aqui na empresa, quantos micros vc tem qual o link de sua net? vc usa controle de banda?, olha só aqui meu problema era o servidor DNS interno com problema, resolvi o cara e ai tudo voltou ao normal pensei q fosse o squid trabalhei um bocado nele mas foi um ledo engano, o q te aconselho é vc instalar um server dns interno, mas antes tira tua navegação do squid, bota direto sem fazer cache mesmo e faz o teste principalmente nas horas q vc sbe q fica lento, se tiver uma interface gráfica no teu server navega normal com as outras maquinas lentas?




7. Re: Internet ficando muito lenta. [RESOLVIDO]

FLAVIO GOMES BERNARDES
flaviog

(usa CentOS)

Enviado em 07/04/2013 - 19:16h

Versão Squid 3.1.10-16.el6.x86_64
O link é da gvt 50mb
Uso controle de banda.

Quando navego fora do proxy a navegação é uma bala so colocar no proxy passando um tempo curto começa a ficar lenta quase inavegavel.


meu squid.conf

http_port 8080
visible_hostname Internet_Server

# Configuração do cache
cache_mem 4048 MB
maximum_object_size_in_memory 5096 KB
maximum_object_size 500 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
#cache_dir ufs /mnt/hdb/spool 2048 16 256
cache_dir ufs /var/spool/squid 100048 16 256

# Localização do log de acessos do Squid
cache_access_log /var/log/squid/access.log

dns_nameservers 8.8.8.8 8.8.4.4

refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 90 # site affego
acl Safe_ports port 1078 #conectividade social
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1863-65535 # unregistered ports
acl Safe_ports port 1025-1862 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl Safe_ports port 5017 # teste de conexao dataprev
acl Safe_ports port 10000 # webmin
acl Safe_ports port 11000 # Curriculo Web
acl purge method PURGE
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access allow CONNECT !SSL_ports

#Não faz cache de sites especificos
#acl block url_regex "/etc/squid/semcache"
acl acl_kav_GET method GET

acl NOCACHE url_regex -i www.trt18.jus.br:8888
no_cache deny NOCACHE

# Bloqueio de sites independente do nivel de permissao, bloqueia inclusive para administradores
acl block url_regex "/etc/squid/block.txt"
http_access deny block

#bloqueia o gtalk no navegador
acl blocktlk url_regex -i chatenabled
http_access deny blocktlk

# Autenticação dos usuários
auth_param basic program /usr/lib64/squid/ncsa_auth /etc/squid/usuarios_ori
acl autenticados proxy_auth REQUIRED
auth_param basic realm Entre com seu Login e Senha
http_access allow autenticados


# Libera para a rede local
acl redelocal src 172.16.0.0/16
http_access allow localhost
http_access allow redelocal

# ACLS
acl bandabaixa proxy_auth -i "/etc/squid/baixa.txt"
acl bandamedia proxy_auth -i "/etc/squid/media.txt"
acl bandaalta proxy_auth -i "/etc/squid/alta.txt"

# Delay Pools

delay_pools 3
delay_class 1 2
delay_class 2 2
delay_class 3 2

delay_access 1 allow bandabaixa
delay_access 2 allow bandamedia
delay_access 3 allow bandaalta

delay_parameters 1 -1/-1 625000/625000
delay_parameters 2 -1/-1 1250000/1250000
delay_parameters 3 -1/-1 -1/-1

# Bloqueia acessos externos
#http_access deny all


8. testes com o squid

André Romero Alves de Souza
arasouza

(usa Debian)

Enviado em 07/04/2013 - 19:48h

flaviog escreveu:

Versão Squid 3.1.10-16.el6.x86_64
O link é da gvt 50mb
Uso controle de banda.

Quando navego fora do proxy a navegação é uma bala so colocar no proxy passando um tempo curto começa a ficar lenta quase inavegavel.


meu squid.conf

http_port 8080
visible_hostname Internet_Server

# Configuração do cache
cache_mem 4048 MB
maximum_object_size_in_memory 5096 KB
maximum_object_size 500 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
#cache_dir ufs /mnt/hdb/spool 2048 16 256
cache_dir ufs /var/spool/squid 100048 16 256

# Localização do log de acessos do Squid
cache_access_log /var/log/squid/access.log

dns_nameservers 8.8.8.8 8.8.4.4

refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 90 # site affego
acl Safe_ports port 1078 #conectividade social
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1863-65535 # unregistered ports
acl Safe_ports port 1025-1862 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl Safe_ports port 901 # SWAT
acl Safe_ports port 5017 # teste de conexao dataprev
acl Safe_ports port 10000 # webmin
acl Safe_ports port 11000 # Curriculo Web
acl purge method PURGE
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access allow CONNECT !SSL_ports

#Não faz cache de sites especificos
#acl block url_regex "/etc/squid/semcache"
acl acl_kav_GET method GET

acl NOCACHE url_regex -i www.trt18.jus.br:8888
no_cache deny NOCACHE

# Bloqueio de sites independente do nivel de permissao, bloqueia inclusive para administradores
acl block url_regex "/etc/squid/block.txt"
http_access deny block

#bloqueia o gtalk no navegador
acl blocktlk url_regex -i chatenabled
http_access deny blocktlk

# Autenticação dos usuários
auth_param basic program /usr/lib64/squid/ncsa_auth /etc/squid/usuarios_ori
acl autenticados proxy_auth REQUIRED
auth_param basic realm Entre com seu Login e Senha
http_access allow autenticados


# Libera para a rede local
acl redelocal src 172.16.0.0/16
http_access allow localhost
http_access allow redelocal

# ACLS
acl bandabaixa proxy_auth -i "/etc/squid/baixa.txt"
acl bandamedia proxy_auth -i "/etc/squid/media.txt"
acl bandaalta proxy_auth -i "/etc/squid/alta.txt"

# Delay Pools

delay_pools 3
delay_class 1 2
delay_class 2 2
delay_class 3 2

delay_access 1 allow bandabaixa
delay_access 2 allow bandamedia
delay_access 3 allow bandaalta

delay_parameters 1 -1/-1 625000/625000
delay_parameters 2 -1/-1 1250000/1250000
delay_parameters 3 -1/-1 -1/-1

# Bloqueia acessos externos
#http_access deny all



Certo flávio precisamos considerarmos alguns pontos:
1. o arquivo de bloqueio de sites tem bastante endereços, isso prejudica o squid, squidguardian, ou dansguardian poderia ser uma solução,

2Excluir o cache atual e refaze-lo isso precisa ser levado em consideração, (uma possivel falha de leitura e tal.)

3. Bem este seria o principal analisando as msg dos logs vi que ele sugere:
"Considere aumentar o número de processos basicauthenticator em seu arquivo de configuração." já que um dos aviso s e erro de autenticação, entao vc poderia incrementar a conf sugerida por ele, em seguida, se fosse viavel para vc suspender utemporariramente a autenticaçao, e ativar um proxy transparente para que possamos eliminar o problema da autenticação. vi q vc usa a porta 8080 e não a 3128, algum redirecionamento no iptables?
veja o q é possivel e poste ai os procedimentos realizados.


9. Re: Internet ficando muito lenta. [RESOLVIDO]

André Canhadas
andrecanhadas

(usa Debian)

Enviado em 07/04/2013 - 20:42h

Cara suas configurações de memoria esão muito altas da uma olhada como eu deixaria:

# Configuração do cache
* cache_mem 512 MB
* maximum_object_size_in_memory 256 KB
maximum_object_size 500 MB
minimum_object_size 0 KB
cache_swap_low 90
cache_swap_high 95
* cache_dir <b>aufs</b> /var/spool/squid 100048 16 256


Coloquei um * onde alterei:

Deixar o Cache_mem com 4GB não é necessário 1 GB esta otimo ele é apenas a memoria de transito do squid , outra coisa os objetos que esta guardando na memória :
maximum_object_size_in_memory 5096 KB ?

Pra que colocar na memória objetos de 5MB que são pouco utilizados, deixa isso para o cache em disco.

Use o AUFS no lugar do UFS o AUFS tem diversas vantagens e melhorias. (http://www.vivaolinux.com.br/topico/Squid-Iptables/Como-Melhorar-o-Desempenho)

O cache_mem não vai limitar a memoria do squid (http://www.squid-cache.org/Doc/config/cache_mem/)

Veja um exemplo de como calcular:

http://www.pinguimteajuda.com.br/node/190