Erro hadoop DATASTREAM EXCEPTION

idobrt
(usa Arch Linux)

Enviado em 03/12/2015 - 11:36h

Olá pessoal estou iniciando com o hadoop e estou tentando montar um pequeno cluester. Atualmente tenho duas máquinas aqui. Bom fiz todas as configurações mas na hora de rodar o exemplo tenho este erro que se entendi bem é como se não tivesse nenhum node ativo.
Ps: o Comando ./bin/hdfs namenode -format não retornou nenhum erro.
Eu startei os serviços :

[idobrt@evoido hadoop-2.7.1]$ ./sbin/start-dfs.sh
15/12/01 06:30:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
uiltin-java classes where applicable
Starting namenodes on [evoido]
evoido: starting namenode, logging to /home/idobrt/shinkuuhadoop/hadoop-2.7.1/logs/hadoop-idobrt-namenode-evoid
o.out

fernanda-Aspire-E5-571: starting datanode, logging to /home/idobrt/shinkuuhadoop/hadoop-2.7.1/logs/hadoop-idobr
t-datanode-fernanda-Aspire-E5-571.out --AQUI ELE ME DIZ QUE INICIA O DATANODE

Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/idobrt/shinkuuhadoop/hadoop-2.7.1/logs/hadoop-idobrt-seco
ndarynamenode-evoido.out
15/12/01 06:30:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
uiltin-java classes where applicable

Quando peço para parar o serviço

[idobrt@evoido hadoop-2.7.1]$ ./sbin/stop-dfs.sh
15/12/01 06:30:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
uiltin-java classes where applicable
Stopping namenodes on [evoido]
evoido: stopping namenode

fernanda-Aspire-E5-571: no datanode to stop -->JÁ AQUI ELE DIZ QUE N TEM NENHUM DATANODE PARA PARAR :(

Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
15/12/01 06:31:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using b
uiltin-java classes where applicable
Ps.: Eu não esqueci de iniciar o yarn.

Ele me diz que fernanda-Aspire-E5-571: no datanode to stop. O que me leva a crer que o por algum motivo o datanode não está iniciando
e continuo com o erro de DataStreamException.
Configurei o arquivo etc/hadoop/slaves colocando fernanda-Aspire-E5-571 na relação nas duas máquinas.

Segue os arquivos de configuração. Eles estão espelhados nas duas máquinas. A única diferença é que evoido usa javaopenjdk e
fernanda-Aspire-E5-571 usa javaoraclejdk (Não acho que isso mude nada).


-------YARN -------------------------------
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>evoido</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>



-------HDFS SITE------
<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.namenode.name.dir</name>

<value>file:/home/idobrt/shinkuuhadoop/hadoop-2.7.1/namenodedir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>

<value>file:/home/idobrt/shinkuuhadoop/hadoop-2.7.1/datanodedir</value>
</property>


------CORE----------------

O erro ocorre justamente quando tento executar o exemplo do ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar teragen 10000000 /data/
Estou usando a versão correta.
As minhas máquinas se comunicam via SSH sem precisar de senha.
Não sei o pq do datastream exception está ocorrendo. Olhei em outros lugares que pediam pra recriar as chaves ssh e tal. Tentei isso mas não funcionou. :(

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://evoido:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/idobrt/shinkuuhadoop/hadoop-2.7.1/tmp</value>
</property>
</configuration>

z4r4tu5tr4
(usa Slackware)

Enviado em 18/12/2015 - 14:25h

Cara, não sei se seus problemas já foram selecionados, mas escrevi um artigo aqui no vol para instalação do hadoop cluster

https://www.vivaolinux.com.br/artigo/Instalando-Apache-Hadoop?pagina=4