Utilizar array ou variavel que receba varias strings (endereço de sites)

K3LV!N escreveu:

Olá pessoal tudo bem?

estou tentando fazer um script para aplicar em um programa, no qual o pessoal me deu uma grande ajuda, a minha dúvida é, preciso capturar vários conteúdos de páginas web, de forma ou que usuário digite, ou que capture sozinho, eu criei um método mas eficiência esta igual a 0. Meu script esta o seguinte:

echo "Digite os sites: "
read imsite1
read imsite2
read imsite3
read imsite4
read imsite

logo após esse comando, essas variáveis são utilizadas para aplicação em outro programa, tornando o programa extenso, tentei procurar sobre array mas não to conseguindo entender, achei complexo e meu nível de shell não é tão elevado. no final do programa eu crio outro arquivo com os conteúdos dessas variáveis, no exemplo seguinte:


echo "O primeiro site foi '$imsite1'...

e assim sucessivamente. há algum modo de utilizar um for ou algo do tipo que consiga armazenar e já salvar de forma que eu consiga utilizar para mostrar o conteúdo dessas variáveis?
Obrigado!

IFS=" "

#Pegando de um arquivo

read -a site <<< $(cat sites.txt|xargs)

for ((X=0;X<${#site[*]};X++)) do

echo ${site[$X]}  #NESTE PONTO COLOQUE O COMANDO

done

vivaolinux.com.br

uol.com.br

google.com

ig.com.br

hardware.com.br

dicas-l.com.br 

K3LV!N escreveu:

Não consegui aplicar da maneira que eu preciso, como eu disse eu tenho um arquivo com uma lista de sites.

sites.txt
www.vivaolinux.com.br
www.google.com
www.linux.com

eu precisaria que pegasse linha por linha de dentro do arquivo e aplicar no meu script. que é pegar a linha 1 contem www.vivaolinux.com.br e colocar em uma variável para aplicar dentro do meu script:

#SALVAR O CONTEUDO DO SITE NO ARQUIVO
lynx -justify -nolist -nomargins -nonumbers -dump VARIAVELCOMOSITEDAPRIMEIRALINHA > ${HOME}/primeirosite.txt

aqui eu irei aplicar outros comandos para remover meta caracteres, transformar todo o conteúdo em radical e etc...
depois precisarei salvar o conteúdo editado do arquivo .txt para uma variável, eu estou utilizando o seguinte comando variavel2=(cat primeirosite.txt), e assim criar o arquivo que irei utilizar na ferramenta WEKA que estou utilizando para classificação de dados:

echo "CONTEUDO LALALALALALALALA

arquivo 'variavel2'

arquivo2 'variavel3'
" > arquivo.arff

Assim funciona, só gostaria mesmo é de uma maneira de capturar de vários sites de forma automática...

Obrigado!

while IFS=$'\n' read -r SITE;do

lynx -justify -nolist -nomargins -nonumbers -dump "$SITE" > ${HOME}/"$SITE".txt

done<sites.txt

 

K3LV!N escreveu:

Olá Marcelo, desde já agradeço sua ajuda.

Ele funciona perfeitamente, porém estou na dúvida de como consigo rodar os outros comandos que necessito, o código seguinte:

while IFS=$'\n' read -r siteproprio;do
lynx -justify -nolist -nomargins -nonumbers -dump "$siteproprio" > proprios/"$siteproprio".txt
done<sites.txt

#REMOVE METACARACTERES >>> SINTAXE ERRADA DIRECIONANDO A SAíDA PARA O ARQUIVO DE ENTRADA
cat ????? | sed 's/uqe/que/g; s/qeu/que/g; s/euq/que/g; s/unknown//g; s/@card@//g; s/[*()";:%·<>\]//g;' | awk '{ print $3 }' > ?????

#REMOVER ACENTUAÇÃO E TRANSFORMA EM MINUSCULA >>> SINTAXE ERRADA
cat ??????.txt | sed 's/\/\|\>\|\''\|\~\|\''\|\?\|\<\|\>\|\!\|\.\|\,\|\_\|\-\|\[\|\]\|\*\|\+\|//g' | sed 'y/ABCDEFGHIJKLMNOPQRSTUVWXYZÀàáéÉíÍóÓúÃÕãõç/abcdefghijklmnopqrstuvwxyzaaaeeiioouaoaoc/' > ??????.txt

#TRANSFORMA O CONTEÚDO (TEXTO) EM RADICAL
wine stemmer_arquivo.exe ?????.txt

#REMOVENDO ESPAÇAMENTOS >>> SINTAXE ERRADA
cat ?????.txt | sed '/^\s*$/d' | paste -s -d ' ' > ??????.txt

#SALVANDO CONTEÚDO DO ARQUIVO NA VARIÁVEL
variavel=$(cat ????.txt)


#-------- SALVANDO A BASE .arff --------#

echo "@relation conteudoimproprios
@attribute palavras {propria,impropria}
@attribute text String


@data
propria, 'variavel'
" > BaseDados.arff[/b

Como consigo criar tudo isso de forma que se repita para cada site, contudo salvando apenas 1 vez a BASE .arff com todos os conteúdos e variaveis adicionadas de forma automática, isso é possível?

https://www.vivaolinux.com.br/topico/Shell-Script/Remover-aspas-simples 

K3LV!N escreveu:

Bom dia msoliver,

Desde já, agradeço muito sua ajuda e obrigado pelo feedback a respeito do uso do sed e demais expressões. O que o senhor me passou, esta tudo perfeitamente funcionando, só estou com a ultima dificuldade de salvar o arquivo .arff.
Pois no final do código, deve ficar assim:

variavel=$(cat ????.txt)

echo "@relation conteudoimproprios
@attribute palavras {propria,impropria}
@attribute text String


@data
propria, 'variavel'

" > BaseDados.arff[/b

Dentro desse arquivo na parte de própria, 'entra variavel'. Mas eu iria precisar adicionar essa cada vez que executa todos esses comandos em cada site, ou seja, um exemplo bobo seria:

variavel1=$(cat ????.txt)
variavel2=$(cat ????.txt)
variavel3=$(cat ????.txt)

echo "@relation conteudoimproprios
@attribute palavras {propria,impropria}
@attribute text String


@data
propria, 'variavel1'
propria, 'variavel2'
propria, 'variavel3'
AQUI ENTRARIA A PALAVRA PRÓPRIA, 'VARIAVEL4'" > BaseDados.arff

E assim por diante, uma forma que consiga adicionar a palavra própria e a variável de forma automática.