随笔分类 -  Bug

Bug | Spark On Yarn 报错 | ERROR cluster.YarnClientSchedulerBackend
摘要：运行环境 hadoop3.1.3 spark3.0.0 jdk8 解决措施 关闭集群环境，在 hadoop目录下的/etc/hadoop/yarn-site.xml 配置文件中添加以下内容： <property> <name>yarn.nodemanager.pmem-check-enabled</ 阅读全文
posted @ 2021-12-06 23:14 Unirithe 阅读(450) 评论(0) 推荐(0)
Bug | 执行sh脚本时出现 bash: /usr/bin/***: Permission denied
摘要：问题描述 笔者在搭建Hadoop集群，调用同步命令的sh脚本时候出现权限不足的提示,如下： 解决措施 赋予这个文件所有权限即可 chmod 777 xcall.sh 阅读全文
posted @ 2021-11-29 02:27 Unirithe 阅读(786) 评论(0) 推荐(0)
Bug | 启动Hadoop集群时出现 ERROR: Attempting to operate on hdfs namenode as root
摘要：问题描述 启动 Hadoop集群时，出现 没有定义 HDFS_NAMENODE_USER Starting namenodes on [hadoop101] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there 阅读全文
posted @ 2021-11-29 02:03 Unirithe 阅读(340) 评论(0) 推荐(0)
Bug | SSH 连接时出现 Warning: the ECDSA host key for xxxx
摘要：#问题描述 重启Docker容器后，进行节点之间的SSH登录发现出现如下提示： Warning: the ECDSA host key for 'hadoop102' differs from the key for the IP address '172.17.0.3' Offending key 阅读全文
posted @ 2021-11-29 01:42 Unirithe 阅读(498) 评论(0) 推荐(0)
Bug | bash: xxxx command not found在Docker容器中的Linux系统 找不到 bin 目录下的sh脚本
摘要：问题描述 在集群测试中，无法找到自写的分发文件的sh脚本 第一次进入容器时在/root/bin下创建sh脚本还是执行成功的，第二次就不行了 解决措施 把自己写的sh脚本放到/bin目录下，而不是~/bin里 问题得已解决！ 阅读全文
posted @ 2021-11-29 01:04 Unirithe 阅读(228) 评论(0) 推荐(0)
Bug | Hadoop3.1.3 启动集群后没有NameNode节点 出现 storage directory does not exist or is not accessible
摘要：Bug start-all.sh 启动hadoop集群后发现没有名称节点 NameNode 分析 这种情况通常都是检查hadoop运行的日志，在那之前需要先排除最容易忽视的点。 1. 检查 workers配置文件 使用jps 命令先查看其他的节点进程的情况，我这里发现其他节点只有Jps一个进程 重新 阅读全文
posted @ 2021-11-15 21:26 Unirithe 阅读(1433) 评论(0) 推荐(0)
Bug | scp命令显示Permission denied!
摘要：Bug 在用虚拟机搭建Hadoop集群时，此时只配置好了一个节点，当想把它的Hadoop目录复制到其他节点的时候报错了 这里是将hadoop101节点的hadoop目录传输到hadoop102（SSH免密登录已设置） 分析 根据查询资料，首先查 hadoop102 下 /usr/local 目录 的 阅读全文
posted @ 2021-11-15 20:23 Unirithe 阅读(3258) 评论(0) 推荐(0)