摘要: 场景:使用structured streaming消费kafka中数据写入hdfs中说明:集群有两个namenode,分别为node1,node2。起初node1状态为active,在程序中涉及hdfs路径的地方,写的是hdfs://node1:8020/your path。后来集群中node1为s 阅读全文
posted @ 2022-03-24 12:40 linhaifeng 阅读(188) 评论(0) 推荐(1) 编辑
摘要: HDFS Namenode 高可用在 Hadoop 2.0.0 之前,一个集群只有一个Namenode,这将面临单点故障问题。如果 Namenode 机器挂掉了,整个集群就用不了了。只有重启 Namenode ,才能恢复集群。另外正常计划维护集群的时候,还必须先停用整个集群,这样没办法达到 7 * 阅读全文
posted @ 2022-03-24 11:55 linhaifeng 阅读(474) 评论(0) 推荐(0) 编辑