随笔分类 -  cdh

hadoop数据备份
摘要：1.如果是安装了hbase,在hbase里也可以备份(网上有)。下面介绍在hadoop下备份hdfs数据(我的也安装hbase) 不是cdh.找自己的配置文件也可以 2.进入这个目录下然后执行下面的命令 参考cdh4升级5:https://yq.aliyun.com/articles/25690?s 阅读全文
posted @ 2019-02-19 15:56 聚云 阅读(2496) 评论(0) 推荐(0)
cdh迁移角色
只有注册用户登录后才能阅读该文。
posted @ 2019-01-17 15:33 聚云
查看hadoop日志
只有注册用户登录后才能阅读该文。
posted @ 2019-01-10 17:22 聚云 阅读(7) 评论(0) 推荐(0)
cdh---yarn资源
摘要：1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y 阅读全文
posted @ 2018-12-19 11:25 聚云 阅读(910) 评论(0) 推荐(0)
linux的根目录总是爆满
摘要：cdh集群各个节点每过一段时间就根目录爆满且linux重启。 查看各个盘的空间 问题根源是因为fakfa积存导致 cd /var/local/kafka/data 查看各个文件大小 删除文件里的日志即可(Location-0文件夹) 阅读全文
posted @ 2018-10-26 14:55 聚云 阅读(1504) 评论(0) 推荐(0)
cdh单个节点挂掉或重启，导致这个节点hadoop组件不能重启
摘要：背景：集群一个节点无缘无故重启了，导致该节点的所有大数据的组件都不能开启。而且集群一片报红 解决方法，在出问题的节点重启一下agent就可以了 之后开启该节点的yarn重启 再开启hdfs重启就好了(注意这个开启顺序) 阅读全文
posted @ 2018-10-25 18:42 聚云 阅读(2043) 评论(0) 推荐(0)
cdh学习---3
只有注册用户登录后才能阅读该文。
posted @ 2018-08-16 09:09 聚云