摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
posted @ 2018-06-30 22:22
cctext
阅读(4562)
评论(0)
推荐(0)
摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
posted @ 2018-06-30 20:51
cctext
阅读(1369)
评论(0)
推荐(0)
摘要：
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 阅读全文
posted @ 2018-06-30 16:31
cctext
阅读(981)
评论(0)
推荐(0)
摘要：
Spark以yarn方式运行时抛出异常： 解决方案： 主要是给节点分配的内存少，yarn kill了spark application。给yarn-site.xml增加配置： 重启hadoop。然后再重新执行./spark-shell --master yarn-client即可。 问题解决过程记录 阅读全文
posted @ 2018-06-30 16:07
cctext
阅读(5316)
评论(0)
推荐(0)
摘要：
启动之后发现slave上正常启动了DataNode,DataManager，但是过了几秒后发现DataNode被关闭 以slave1上错误日期为例查看错误信息： 找到错误信息： 解决方案 错误问题原因：多次格式化导致的。 1）在master执行sbin/stop-all.sh，关闭hadoop: 2 阅读全文
posted @ 2018-06-30 16:01
cctext
阅读(1131)
评论(0)
推荐(0)
摘要：
启动问题： 执行start-all.sh出现以下异常信息： 解决方案： Just added export JAVA_HOME=/usr/java/default in /root/.bashrc 之后尝试重新启动hadoop。 参考《https://blog.csdn.net/Abandon_Su 阅读全文
posted @ 2018-06-30 15:56
cctext
阅读(4614)
评论(1)
推荐(0)
摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
posted @ 2018-06-30 01:55
cctext
阅读(4614)
评论(0)
推荐(0)
浙公网安备 33010602011771号