hadoop坎坷之路（集群搭建）

主线还是依照扎心了，老铁 的https://www.cnblogs.com/qingyunzong/p/8496127.html

遇到的第一个坑是SSH

Linux的SSH免密登陆比较坑。要设置好需要详细了解一下。我参看了：https://www.cnblogs.com/ftl1012/p/ssh.html

之后碰到了管理站点登不上的问题。原因除掉标签内配置错误的问题就是缺了个标签。

详细参考：https://blog.csdn.net/Neone__u/article/details/53741786

和：https://blog.csdn.net/u010180815/article/details/79070870

重启集群之后顺利登陆了控制台。安装成功。

但是datanode和yarn缺节点2。

hadoop-hadoop-secondarynamenode-hadoop.node2.log日志里报错：

Call From localhost/127.0.0.1 to hadoop.node1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

解决方法：

 

 hosts里注释掉前两行。

hadoop-hadoop-datanode-hadoop.node2.log日志里警告：

Problem connecting to server: hadoop.node1/192.168.223.132:9000

是同一个问题。解决方法一致。

 

此时调度程序节点正常。

 

 

 而datanode依然看不到节点2。日志里也没有其它错误了。

最后排查问题感觉好像是data目录里的文件有问题。于是删掉，重启。

问题解决。集群正常了。