filtro de texto para log gerado

Igorvf
(usa Solaris)

Enviado em 08/04/2020 - 09:16h

Bom dia Amigos,
estou com problema em realizar tarefa de filtrar um log gerado por um shell script,
preciso filtrar todos nomes que comecem ERJ e organizar dentro de uma arquivo com n textos.


podem me ajudar?

paulo1205
(usa Ubuntu)

Enviado em 08/04/2020 - 14:04h

Seria interessante você dar maiores detalhes. "Um log gerado por um shell script" é muito genérico.



Todo jeito de que você deveria usar seleção de expressões regulares. Mas se vai ser com grep, awk ou mesmo expressões internas do shell vai depender do que você quer fazer.


... Então Jesus afirmou de novo: “(...) eu vim para que tenham vida, e a tenham plenamente.” (João 10:7-10)

Igorvf
(usa Solaris)

Enviado em 08/04/2020 - 16:26h

Boa tarde Paulo, obrigado pela ajuda.

#comando
awk -f organiza.awk /home/ext.out > /home/email_ext.out
---------------------------------------------------------------------------------
AWk criado

/^S01RJ/ {SITE=$1}

/^ERJ/ {SITE=$2}

/^A1/ {DIA=$5; HORA=$6}

/^ALARME/ {ALT=$2}

/ ABERTA / || /COND/ || /GMG/ || /TEMP/ || /BAT/ || /RET/ || /INV/ || / AC / || / DC / || / FCC / || / VENT / {print SITE, ALT, DIA, HORA, $0}

__________________________________________
log gerado no arquivo ext.out
preciso localizar nomes iniciados S01RJ e ERJ alinhando com falha de alarmes externos e data hora



0;S01RJAAA01 - Connected to (SubNetwork=ONRM_RootMo,SubNetwork=AXE,SubNetwork=RadioNode,MeContext=S01RJAAA01,ManagedElement=S01RJAAA01)




Date;Time;Severity;Object;Problem;Cause;AdditionalText;AckState;AlarmId;NotificationId
2019-11-27;17:55:00;Critical;ManagedElement=S01RJAAA01,Equipment=1,FieldReplaceableUnit=1,AlarmPort=6;External Alarm;ExternalEquipmentFailure;FALHA AR CONDICIONADO 2 AI:
2020-04-08;18:06:27;Critical;ManagedElement=S01RJAAA01,Equipment=1,FieldReplaceableUnit=1,AlarmPort=1;External Alarm;ExternalEquipmentFailure;PORTA ABERTA CONTAIN/SALA AI
>>> Total: 2 Alarms (2 Critical, 0 Major)

S01RJAAA01>quit

Connected to (SubNetwork=ONRM_RootMo,SubNetwork=LTE,SubNetwork=ERBS,MeContext=ERJBBB01,ManagedElement=1)

0;ERJBBB01 - AMOS
Resolving the alarm service in OMS...
Simple Alarm Client initialized...
Starting to retrieve active alarms
Nr of active alarms are: 1
Date;Time;Severity;Object;Problem;Cause;AdditionalText;AckState;AlarmId;NotificationId
2020-01-31;23:41:11;Major;SubNetwork=ONRM_RootMo,SubNetwork=LTE,SubNetwork=ERBS,MeContext=ERJBBB01,ManagedElement=1,SystemFunctions=1,TimeSetting=1;NTP System Time Sync F
ault;clock_synchronisation_problem;NTP sync alarm Message = NTP server configuration problem;Unacknowledged;SubNetwork=ONRM_RootMo,SubNetwork=LTE,SubNetwork=ERBS,MeContex
t=ERJBBB01_7;10
>>> Total: 1 Alarms (0 Critical, 1 Major)

ERJBBB01>

este log é grande com muitas linhas PARA outros elementos de rede

msoliver
(usa Debian)

Enviado em 08/04/2020 - 19:56h

Boa noite Igor.
O arquivo "/home/ext.out" está com muitas linhas quebradas, mas, acho que deu para entender....
As linhas necessárias, são as que iniciam com "ANO-MES-DIA", e tem a "string", S01RJ ou ERJ.
O awk "pega" o requerido:

awk -F";" '/^[0-9]{4}/{if(/=S01RJ/)print NF,";AQUI TEM S01RJ";else if(/=ERJ/) print NF,";AQUI TEM ERJ"}' log.txt 

Defina os campos necessários, para cada "string".
Devido ao quantificador, requer o gawk
Se necessário, use dois separadores de campo, exemplo:
awk -F '[;,]' .......
Acho que é isso.....
______________________________________________________________________
Importante: echo -e "\n$(lynx --dump goo.gl/a9KeFc|sed -nr '/^[ ]+Se/,/dou.$/p')\n"
Att.: Marcelo Oliver
______________________________________________________________________

Igorvf
(usa Solaris)

Enviado em 09/04/2020 - 10:31h

Bom dia Marcelo,
tentei rodar mas não funcionou.

faço uma rotina de envio do log por e-mail, fica assim.
./auto.sh > /home/ext.out

/usr/bin/awk -f organiza.awk /home/ext.out > /home/email_ext.out

(cat /home/email_ext.out) | mail -s "subject: alarme ext" *****@gmail.com

Obs: esse e-mail gerado tem 159 paginas e 30000 palavras, mas o que interessa mesmo são poucas linhas.

o AWK teria que filtrar esse arquivo e organizar, mas não é isso que está acontecendo.

msoliver
(usa Debian)

Enviado em 09/04/2020 - 20:11h

boa noite Igor.
O "gawk" está instalado?
Ele é necessário, devido o quantificador, na regex: /^[0-9]{4}/
Pelo que observei, os dados de interesse estão nas linhas que iniciam com "ANO-MES-DIA", é isso mesmo?
Se possível, poste um trecho maior do log,
coloque entre as tags code daqui do fórum, para que mantenha a formatação original.

______________________________________________________________________
Importante: echo -e "\n$(lynx --dump goo.gl/a9KeFc|sed -nr '/^[ ]+Se/,/dou.$/p')\n"
Att.: Marcelo Oliver
______________________________________________________________________

Igorvf
(usa Solaris)

Enviado em 11/04/2020 - 11:11h

Bom dia Marcelo,
estou verificando se está instalado, obrigado pela ajuda.

o que gostaria de filtrar no texto é os nomes começados com ERJ***** e S01RJ***** correlacionado as datas e alarmes.

ERJPET01
2020-04-06 13:37:14 w Sync Frequency Server Reachability Fault Synchronization=1,RadioEquipmentClock=1,RadioEquipmentClockReference=1 (No granted service from PTP Grandmaster AI: CI:{"C": [{"I": "98a18000-cce8-11e8-8e92-98a404f2ba41","n": "RadioNode"}],"P": "98a10000-0984-11e8-8e92-98a404f2ba41"})
2020-04-08 06:02:51 M External Alarm FieldReplaceableUnit=1,AlarmPort=8 (FALHA AR CONDICIONADO AI: CI:{"C": [{"I": "98a18000-cce8-11e8-8e92-98a404f2ba41","n": "RadioNode"}],"P": "98a10000-007b-11e8-8e92-98a404f2ba41"})

msoliver
(usa Debian)

Enviado em 11/04/2020 - 23:51h

Boa noite Igor.
Os termos "ERJ.* e S01RJ.*", não estão na mesma linha que você quer pegar os dados?
O formato do log é como o postado acima?



______________________________________________________________________
Importante: echo -e "\n$(lynx --dump goo.gl/a9KeFc|sed -nr '/^[ ]+Se/,/dou.$/p')\n"
Att.: Marcelo Oliver
______________________________________________________________________

Igorvf
(usa Solaris)

Enviado em 15/04/2020 - 15:53h

Boa tarde Marcelo,
correto, eles não estão na mesma linha e a saída do log ficou como .out que é enviado por email.

não consegui mexer esses dias nele, tive um problema, estou trabalhando nele novamente.

obrigado pela ajuda, abs.

Igorvf
(usa Solaris)

Enviado em 15/04/2020 - 16:05h

Parte do log, o log é grande e vem intercalando com o resultado de cada elementos que no caso são muitos.
cada elemento de rede iniciam com essas letras.


Wed Apr 15 14:21:00 BRT 2020
ERJAAA01
Conectando EM

__ __ ____ _____
/\ | \/ |/ __ \ / ____|
/ \ | \ / | | | | (___
/ /\ \ | |\/| | | | |\___ \
/ ____ \| | | | |__| |____) |
/_/ \_\_| |_|\____/|_____/
OSS Framework for MoShell-18.0e


[1;31mWARNING: [0mthe AMOS version currently running is more than 102 weeks old.
It is recommended to always use the latest released moshell version.
To obtain the latest released version contact your local Ericsson support.

$amosrb_pid = 12750

Checking ip contact...OK
HELP MENU : h
BASIC MO COMMANDS : m
OTHER MO COMMANDS : n
OTHER COMMANDS : o
PM COMMANDS : p
QUIT : q


ERJAAA01> alt

200415-14:21:07 18.0e stopfile=/tmp/12733
Checking MOM version...ERBS_NODE_MODEL_J_2_153
Parsing MOM (cached): /var/opt/ericsson/amos/moshell_logfiles/logs_moshell/tempfiles/20200415-142100_12687/ERBS_NODE_MODEL_J_2_153.xml.cache.gz ......................................................................................................................Done.
Using paramfile /opt/ericsson/amos/moshell/commonjars/pm/PARAM_ERBS_G_1_0.txt
Parsing file /opt/ericsson/amos/moshell/commonjars/pm/PARAM_ERBS_G_1_0.txt ........Done.
Fetching IOR file...Done.
Connecting to 10.334 (CorbaSecurity=OFF, corba_class=2, java=1.7.0_141, jacoms=R93D03, jacorb=R89C01)
**** Welcome to the Simple Mo Browser (version 3.0)!
Trying file=/var/opt/ericsson/amos/moshell_logfiles//logs_moshell/tempfiles/20200415-142100_12687/ior12687
**** Test Construction OK
****

$mobrowser_pid = 12812

Connected to (SubNetwork=ONRM_RootMo,SubNetwork=LTE,SubNetwork=ERBS,MeContext=ERJAAA01,ManagedElement=1)

Connecting to (CorbaSecurity=OFF, corba_class=2, java=1.7.0_141, jacoms=R93D03, jacorb=R89C01)
Trying file=/var/opt/ericsson/amos/moshell_logfiles//logs_moshell/tempfiles/20200415-142100_12687/ior12687
Resolving the alarm service in OMS...
Simple Alarm Client initialized...
Starting to retrieve active alarms
Nr of active alarms are: 2
====================================================================================================================
Date & Time (Local) S Specific Problem MO (Cause/AdditionalInfo)
====================================================================================================================
2020-04-11 10:20:36 m Password File Fault Security=1 (configuration_or_customizing_error)
2020-04-11 10:20:40 M Packet Server Availability Fault Synchronization=1,PacketFrequencySyncRef=2 (unavailable)
2020-04-15 13:27:44 C External Alarm FieldReplaceableUnit=1,AlarmPort=2 (FALHA DE ENERGIA AC AI: CI:{"C": [{"I": "92ec0000-d62a-11e7-8e92-98c5db8f0bee","n": "RadioNode"}],"P": "92ec0000-007b-11e7-8e92-98c5db8f0bee"})
2020-04-15 13:27:44 C External Alarm FieldReplaceableUnit=1,AlarmPort=5 (BATERIA EM DESCARGA AI: CI:{"C": [{"I": "92ec0000-d62a-11e7-8e92-98c5db8f0bee","n": "RadioNode"}],"P": "92ec0000-007b-11e7-8e92-98c5db8f0bee"})
>>> Total: 2 Alarms (0 Critical, 1 Major)
Bye...
]0;
S01RJCCC01
Conectando em

__ __ ____ _____
/\ | \/ |/ __ \ / ____|
/ \ | \ / | | | | (___
/ /\ \ | |\/| | | | |\___ \
/ ____ \| | | | |__| |____) |
/_/ \_\_| |_|\____/|_____/
OSS Framework for MoShell-18.0e


[1;31mWARNING: [0mthe AMOS version currently running is more than 102 weeks old.
It is recommended to always use the latest released moshell version.
To obtain the latest released version contact your local Ericsson support.

$amosrb_pid = 12935

Checking ip contact...OK

HELP MENU : h
BASIC MO COMMANDS : m
OTHER MO COMMANDS : n
OTHER COMMANDS : o
PM COMMANDS : p
QUIT : q
S01RJCC01> alt

200415-14:21:24 18.0e stopfile=/tmp/12921
Checking MOM version...ERBS_NODE_MODEL_J_2_153
Parsing MOM (cached): /var/opt/ericsson/amos/moshell_logfiles//logs_moshell/tempfiles/20200415-142117_12874/ERBS_NODE_MODEL_J_2_153.xml.cache.gz ......................................................................................................................Done.
Using paramfile /opt/ericsson/amos/moshell/commonjars/pm/PARAM_ERBS_G_1_0.txt
Parsing file /opt/ericsson/amos/moshell/commonjars/pm/PARAM_ERBS_G_1_0.txt ........Done.
Fetching IOR file...Done.
Connecting to (CorbaSecurity=OFF, corba_class=2, java=1.7.0_141, jacoms=R93D03, jacorb=R89C01)
**** Welcome to the Simple Mo Browser (version 3.0)!
Trying file=/var/opt/ericsson/amos/moshell_logfiles//logs_moshell/tempfiles/20200415-142117_12874/ior12874
**** Test Construction OK
****

$mobrowser_pid = 12995

Connected to (SubNetwork=ONRM_RootMo,SubNetwork=LTE,SubNetwork=ERBS,MeContext=S01RJCCC01,ManagedElement=1)

Connecting to (CorbaSecurity=OFF, corba_class=2, java=1.7.0_141, jacoms=R93D03, jacorb=R89C01)
Trying file=/var/opt/ericsson/amos/moshell_logfiles//logs_moshell/tempfiles/20200415-142117_12874/ior12874
Resolving the alarm service in OMS...
Simple Alarm Client initialized...
Starting to retrieve active alarms
Nr of active alarms are: 1
====================================================================================================================
Date & Time (Local) S Specific Problem MO (Cause/AdditionalInfo)
====================================================================================================================
2020-01-31 23:41:11 M NTP System Time Sync Fault TimeSetting=1 (NTP sync alarm Message: NTP server configuration problem)
>>> Total: 1 Alarms (0 Critical, 1 Major)
2020-04-15 12:14:52 M External Alarm FieldReplaceableUnit=1,AlarmPort=8 (FALHA TROCADOR DE CALOR AI: CI:{"C": [{"I": "d08c8000-280f-11e9-8e92-549b72ff1c97","n": "RadioNode"}],"P": "d08c0000-007b-11e9-8e92-549b72ff1c97"})
2020-04-08 06:02:51 M External Alarm FieldReplaceableUnit=1,AlarmPort=8 (FALHA AR CONDICIONADO AI: CI:{"C": [{"I": "98a18000-cce8-11e8-8e92-98a404f2ba41","n": "RadioNode"}],"P": "98a10000-007b-11e8-8e92-98a404f2ba41"})
Bye...

msoliver
(usa Debian)

Enviado em 15/04/2020 - 19:41h

Boa noite Igor.
Tem que "dar uma limpada" no log, para pegar o que é necessário....
Pelo que observei, cada registro inicia na linha:
REGEX: "^Connected.*(E|S01)RJ.*"
E termina na linha:
^Bye\.\.\.
O 'resto' deve ser deletado....

______________________________________________________________________
Importante: echo -e "\n$(lynx --dump goo.gl/a9KeFc|sed -nr '/^[ ]+Se/,/dou.$/p')\n"
Att.: Marcelo Oliver
______________________________________________________________________

Igorvf
(usa Solaris)

Enviado em 16/04/2020 - 07:54h

Bom dia Marcelo,
ok, estou seguindo com as recomendações.

obrigado.

abs