Logstash + Redis + Elasticsearch + Kibana - Gerenciando logs

O Logstash é um sistema para gerenciamento e agregação de logs. Neste artigo, veremos como configurar o Logstash para coletar, processar e armazenar logs e como configurar uma interface Web para visualizar e analisar os logs. Este roteiro irá mostrar também, como montar um ambiente para centralizar logs de diversos servidores.

[ Hits: 36.574 ]

Por: Luiz Augusto Amelotti em 10/09/2012


Coletando e processando logs



Neste exemplo, nós iremos coletar os logs de acesso e de erro do Apache.

Para isso, na máquina shipper - a que envia as mensagens de log para a centralizadora - pare o Logstash (se ainda não estiver parado) e edite o arquivo de configuração (shipper.conf), para que ele fique da seguinte maneira:

input { file { path => "/var/log/apache2/access.log" type => "apache-access" } }
filter { grok { type => "apache-access" pattern => "%{COMBINEDAPACHELOG}" } }
output { redis { host => "<endereço IP do redis server>" data_type => "list" key => "logstash" } }


Inicie o Logstash e acesse algumas páginas desta máquina, através do navegador.

As mensagens serão enviadas ao Redis e o Logstash vai coletar e indexar as mensagens, enviando-as ao Elasticsearch para armazenamento. Assim, elas podem ser visualizadas através da interface do Kibana.

Na interface Web, ao clicar em uma das mensagens, é possível ver como ela foi processada, sendo quebrada em vários campos (agent, auth, bytes, clientip, etc). Esse processamento é feito através das instruções na sessão filter.

O Logstash tem uma série de filtros, sendo o grok um dos mais usados. Com ele, é possível fazer um parsing do texto e estruturá-lo. O grok vem com uma série de padrões pré-definidos (COMBINEDAPACHELOG é um deles), mas, você pode definir um padrão novo qualquer, que atenda às suas necessidades.

Você pode ver mais detalhes dos plugins do Logstash, na página:
O conjunto Elasticsearch+Kibana, provêem um ambiente muito prático, que permite realizar buscas e aplicar filtros aos resultados processados do Logstash e usam a mesma sintaxe da Lucene para realizar as buscas.

Mais detalhes podem ser encontrados em:

Referências



Página anterior    

Páginas do artigo
   1. Introdução
   2. Ambiente distribuído
   3. Coletando e processando logs
Outros artigos deste autor
Nenhum artigo encontrado.
Leitura recomendada

Ultimate Boot CD - Um Fantástico "Canivete Suíço" para recuperar seu Linux

Autologin no Linux sem o uso do KDM

O Linux e eu - uma parceria ideológica, funcional e divertida

Squid + Iptables - Combinação Infalível

Viva o Linux Training: seja um moderador do VOL

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner
Linux banner
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts