Detonando robots!

removido

A muito tempo tempo se fala dos "Google hacks", mas o que não é divulgado é como evitar que o Google e outros sistemas de busca disponibilizem informações e/ou arquivos que não sejam interessantes para seu site.

[ Hits: 26.963 ]

Por: Perfil removido em 28/03/2005

0 1

Denuncie Favoritos Indicar Impressora

Bloqueando robots

1° - Firewall

Pelos logs você pode bloquear direto no firewall.

Lista com agentes/IP:

http://www.searchengineworld.com/spiders/spider_ips.htm

2° - Por agente

Os robots usam agentes com nomes específicos, assim pode criar-se uma regra para bloqueá-los.

a) Via ".htaccess":

SetEnvIfNoCase User-Agent "^EmailSiphon" bot
SetEnvIfNoCase User-Agent "^EmailWolf" bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bot
SetEnvIfNoCase User-Agent "^CherryPicker" bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bot
SetEnvIfNoCase User-Agent "^Teleport" bot
SetEnvIfNoCase User-Agent "^EmailCollector" bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bot
</Limit>

Lista de agentes, várias aplicações:

http://www.pgts.com.au/pgtsj/pgtsj0208c.html

b) Via robots.txt:
Você pode criar uma arquivo chamado "robots.txt" no diretório raiz do seu site. Esse arquivo é usado para bloquear agentes em um diretório único.

Bloqueando acesso a todo site:

# vim /robots.txt

User-agent: *
Disallow: /

Bloqueando um agente específico:

# vim /robots.txt

User-agent: webcrawler
Disallow:

Bloqueando Google Images:

# vim /robots.txt

# Robot do Goolge images
User-Agent: Googlebot-Image
Disallow: /

Mais informações sobre o Google-Bot:

http://www.google.com.br/intl/pt-BR/remove.html

Alguns diretórios interessantes:

# vim /robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /_borders/
Disallow: /_derived/
Disallow: /_fpclass/
Disallow: /_overlay/
Disallow: /_private/
Disallow: /_themes/
Disallow: /_vti_bin/
Disallow: /_vti_cnf/
Disallow: /_vti_log/
Disallow: /_vti_map/
Disallow: /_vti_pvt/
Disallow: /_vti_txt/

Exemplos de robots.txt:

3° - Bloqueando por META tags

É possível utilizar as meta tags para dizer ao Robot para não indexar ou seguir os links em uma de página. Para isso adicione as tags abaixo no cabeçalho das páginas que quiser bloquear. É claro que esse método só funciona para Robots "legais" e as tags precisam ser adicionadas em cada página que quiser bloquear.

Entre as tags <head></head> insira:

Todos Robots:

Para não arquivar sua página(cache):

Para o Google:

Para não aparecer a keyword em negrito na busca:

Cache do Google:

Links

Página anterior Próxima página

Páginas do artigo

   1. O que é?
   2. Bloqueando robots
   3. Considerações finais

Outros artigos deste autor

Aplicações em 32 bits para seu Ubuntu 64 bits (Feisty Fawn)

JDK 6 + Eclipse 3.2 + NetBeans 5.5

DownThemAll: O melhor gerenciador de downloads no Linux

Shell Script para WEB

Um tour pelos ripadores de CDs para Linux

Leitura recomendada

Entenda o XML - Parte 1

Camada de Transporte TCP/IP e Aplicação

Symbaloo para uso em Química e Pesquisa Científica

Instalando o Java Plug-in no Mozilla

EditorConfig - Padronização de código para seus projetos

Comentários

[1] Comentário enviado por null_terminated em 29/03/2005 - 07:48h

Muito Bom!

Muito legal seu artigo, trouxe a luz uma fissura na segurança pessoal desconhecida por muitos!

[]'s

0 0

[2] Comentário enviado por ygorth em 29/03/2005 - 09:26h

Excelente artigo.. este mês eu iria atras dele. Acho ate legal o VOL usar na parte sobre nos. O nosso perfil!

0 0

[3] Comentário enviado por mrspy em 29/03/2005 - 09:42h

Isso mostra como somos vuneraveis até em páginas de internet.

Esse artigo é bom porque no meu caso eu vou poder proteger a página da minha empresa na internet e que em algum lugares há documentos sigilosos.

0 0

[4] Comentário enviado por Grobsch em 29/03/2005 - 12:02h

Estava ontem mesmo pesquisando sobre isto... Caiu do céu...
Parabéns pelo artigo...

0 0

[5] Comentário enviado por neriberto em 29/03/2005 - 13:13h

Ótimo, excelente :)

0 0

[6] Comentário enviado por leysen em 29/03/2005 - 16:58h

Foi um dos melhores artigos que já li sobre o assunto e pode ser usado como guia de consulta rápido.

0 0

[7] Comentário enviado por agk em 29/03/2005 - 16:58h

Ótimo artigo, parabéns.

0 0

[8] Comentário enviado por fabrizmat em 30/03/2005 - 16:16h

Muito bom! parabéns!!!

0 0

[9] Comentário enviado por paulobarra em 30/03/2005 - 22:29h

seu artigo é muito bom.

Como podemos criar um spider ?
Vc conhece algum spider free?

Obrigado

Valeu

0 0

[10] Comentário enviado por Hernando em 03/05/2005 - 12:10h

Parabens geralmente eu uso o google para testar falhas pois se o cara souber usar a busca avançada do google ele tem acesso total a conteudos restritos...

0 0

[11] Comentário enviado por _m4n14c_ em 01/06/2007 - 18:50h

Camaradas, em tempo de lembra-los: o arquivo robots.txt e as metatags sao lidos e utilizados pelo robot e nao pelo servidor, bem como a informacao do user-agent tb eh fornecida pelo robot.

As configuracoes citadas no artigo funcionam bem para crawlers "bonzinhos", mas nao oferece seguranca alguma contra programas que enviam user-agent's falsos ou ignoram as instrucoes do robots.txt. A melhor politica de seguranca eh nao tornar documentos sigilosos publicamente acessiveis, exceto se forem devidamente protegidos por senha e preferencialmente servidos sobre https.

0 0

[12] Comentário enviado por Teixeira em 20/10/2007 - 20:20h

Muito embora no momento eu pretenda exatamente o contrário, isto é, dar maior visibilidade às minhas páginas atuais, a dica é muito valiosa para proteger dados. Vou guardá-la para alguma necessidade futura.
Parabéns!

0 0