随笔分类 -  集群问题

集群往往有很多问题
HADOOP HA 报错 - 所有 namenode 都是standby --集群报错： Operation category READ is not supported in state standby
摘要：报错： 经过查看集群的jps如下： 查看日志： 状况： 所有namenode都是standby，即ZK服务未生效 尝试一：手动强制转化某个namenode为active 操作：在某台namenode上，执行 hdfs haadmin -transitionToActive --forcemanual 阅读全文
posted @ 2019-10-08 14:21 wqbin 阅读(2044) 评论(0) 推荐(0)
阿里云集群搭建
摘要：几位朋友找我，做一个基于spark的推荐系统。我们于是买了三台阿里云服务器折腾一下。 1.配置putty和安装nano 2.配置主机映射 /etc/hosts 3. 阅读全文
posted @ 2019-10-07 12:41 wqbin 阅读(796) 评论(0) 推荐(0)
cm日志哪里看
摘要：root@d001:/home/centos# find / |grep cloudera-scm-agent.log/opt/cm-5.13.0/log/cloudera-scm-agent/cloudera-scm-agent.log.5/opt/cm-5.13.0/log/cloudera-s 阅读全文
posted @ 2019-06-12 10:24 wqbin 阅读(842) 评论(0) 推荐(0)
CDH安装失败了，如何重新安装
摘要：CDH安装失败了，如何重新安装 1> 删除Agent节点的UUID # rm -rf /opt/cm-5.13.0/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cdh; >你的可能是cm 3> 删除Age 阅读全文
posted @ 2019-06-11 16:38 wqbin 阅读(1375) 评论(0) 推荐(1)
java.sql.SQLException: Access denied for user 'root'@'d001' (using password: YES)
摘要：在安装CDH的时候报错了： 我们研究一下 scm_prepare_database.sh的参数 /opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh -hd001 -P3306 --scm-host d001 --force mysql cd 阅读全文
posted @ 2019-06-11 12:13 wqbin 阅读(1101) 评论(0) 推荐(1)
Hive中的日志
摘要：Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。 1.系统日志 系统日志存储在什么地方呢 ？在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，默认的存储情况 阅读全文
posted @ 2019-06-04 01:37 wqbin 阅读(4364) 评论(0) 推荐(0)
华为集群后killsql命令和查看mr占用的磁盘空间
摘要：(1) linux后台：yarn application -list 找到相应的命令 粘贴job （2）去FI manager 的 yarn上粘贴job 看详细过程 （3）确定后 在linux后台 yarn application -kil xxxx 都是因为华为的集群对hivesql脚本的给出了部 阅读全文
posted @ 2019-05-18 16:32 wqbin 阅读(318) 评论(0) 推荐(0)
ZooKeeper某一QuorumPeerMain挂了
摘要：问题在哪呢？好久没没有出现类似问题了 解决方案： 之前zookeeper 是可以正常启动的，今天启动zookeeper时报如上错误。经过测试发现： 只要在~/zookeeper/data/ 下删除文件夹version 2 ： rm rf version 2 然后就可以正常启动zookeeper了。 阅读全文
posted @ 2018-12-13 08:48 wqbin 阅读(681) 评论(0) 推荐(0)