随笔分类 -  CDH&hadoop

在yarn上查找完整日志
摘要：首先在yarn的web页找到 application的id , 如： application_1632375440067_2807 进入shell客户端使用命令查看完整日志： yarn logs -applicationId application_1632375440067_2807 阅读全文
posted @ 2021-11-03 18:04 cknds 阅读(724) 评论(0) 推荐(0)
在Windows安装运行Kafka
摘要：传送： https://blog.csdn.net/weixin_38004638/article/details/91893910 阅读全文
posted @ 2021-01-02 23:43 cknds 阅读(58) 评论(0) 推荐(0)
cloudera-scm-agent start [确定] 但是在cm界面会安装cloudera-scm-agent并报无法检测到Agent信号
摘要：已经安装了几次CDH了，本次安装用了我一个月时间，仅仅是在cm界面报 百度了很久很多解决办法，最后在大海中看到了一个哥们的一句话 hostname 不能有下划线 一语惊醒梦中人啊，安装linux的时候手贱加了一个 “_” ,hostname 成了cdh_master， 经过修改后解决了。 以此铭记啊 阅读全文
posted @ 2020-12-26 22:52 cknds 阅读(249) 评论(0) 推荐(0)
kettle连接CDH的hive存取数据
摘要：一开始下载了最新版的kettle8.2，经过各种百度，下载hive配置和jar包，但是总是连接不上hive，报各种错误，不一一举例了。 折腾很久才发现，原来是版本不匹配 因为kettle连接hadoop集群，分为连接CDH还是apache hadoop，从目录\data-integration\pl 阅读全文
posted @ 2020-07-26 02:46 cknds 阅读(2090) 评论(1) 推荐(0)
CDH 删除Agent节点
摘要：环境 centos 6.5 JDK 8 CDH 5.16CDH 通过CM安装,而不是独立安装组件包;CM移除节点登录web管理界面执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"执行: 阅读全文
posted @ 2020-07-24 13:51 cknds 阅读(844) 评论(0) 推荐(0)
Cloudera Manager(CDH5)内部结构、功能包括配置文件、目录位置等
摘要：1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera 阅读全文
posted @ 2020-07-11 19:17 cknds 阅读(382) 评论(0) 推荐(0)
cloudera manager 群集中有 副本不足的块
摘要：这个问题是由什么引起的呢？如果集群中，有二个datanode，而有3个副本的话，就会出现这样的问题。 1，副本数据小于等于datanode数 2，命令修改已有的副本数 修改副本数后不会若自动删除多余副本，怎需要执行以下命令 su - hdfs # "/" 指的是hdfs目录 hadoop fs -s 阅读全文
posted @ 2020-07-11 18:44 cknds 阅读(4396) 评论(0) 推荐(0)
kafka发布消息报错LEADER_NOT_AVAILABLE
摘要：我的kafka是CDH上的2.11版本 在linux客户端启动了kafka自带的producer 和consumer后能正常生产和消费 但是， 在idea启动了自定义的生产者向kafka发送数据的时候报： WARN Error while fetching metadata with correla 阅读全文
posted @ 2020-06-11 10:25 cknds 阅读(16637) 评论(0) 推荐(0)
CDH中Kafka基本指令总结——topic使用与测试producer产生数据、consumer消费数据
摘要：一、相关基础内容 Kafka群集中的每个主机都运行一个称为代理的服务器，该服务器存储发送到主题的消息并服务于消费者请求。 首先先看服务器安装kafka的实例信息： 注意：然后正常kafka的指令是 ： ./bin/kafka-topics.sh --zookeeper cluster2-4:2181 阅读全文
posted @ 2020-06-09 23:47 cknds 阅读(3196) 评论(0) 推荐(0)
CDH管理界面查看各框架的版本（hive为例）
摘要：安装好的CDH如果查看hive的版本呢， 1、官网 2、管理界面中 官网查看一般看到的都是CDH系统默认自带的版本，如果你的CDH在运行的过程中升级过，那再参考官网的版本就会出现错误。 参考：http://www.cloudera.com/documentation/enterprise/relea 阅读全文
posted @ 2020-05-26 15:06 cknds 阅读(3428) 评论(0) 推荐(0)
Cloudera hadoop配置文件地址和修改配置属性方法
摘要：问题导读 1.cloudera 的配置文件路径默认在什么位置？ 2.如何通过cloudera manager web UI修改配置文件？ 配置文件地址： Hadoop: /etc/hadoop/conf hbase: /etc/hadoop/conf hive: /etc/hive/conf 使用c 阅读全文
posted @ 2020-05-26 15:04 cknds 阅读(3010) 评论(0) 推荐(0)