文章分类 -  Hadoop

ZK 监控HDFS HA原理
摘要：一般HDFS的NN有两个，工作的只有一个，当一个挂掉时，另一个启动，来代替它，原理是利用ZK的临时ZNode 原理：当HDFS的两台NN启动时，ZKFC（Zookeeper FailoverController）也会启动，ZKFC会向ZK上写一个临时序列化的节点（默认节点名是：/hadoop-ha） 阅读全文
posted @ 2018-03-06 13:43 猴子1 阅读(381) 评论(0) 推荐(0)
HDFS DataNode无法启动，抛出java.io.EOFException
摘要：浏览HDFS网页时，404，然后去服务器看下果然发现没有datanode进程，然后去看下日志 日志部分内容： java.io.EOFException: End of File Exception between local host is: "ubuntu/127.0.1.1"; destinat 阅读全文
posted @ 2018-03-02 14:30 猴子1 阅读(1497) 评论(0) 推荐(0)
HDFS 笔记配置、启动
摘要：下载安装Hadoop、JDK、SSH（SSH要求免密访问） 修改Hadoop配置文件： 1、../hadoop/etc/hadoop/core-site.xml 2、 阅读全文
posted @ 2018-02-26 16:55 猴子1 阅读(152) 评论(0) 推荐(0)
HDFS 构架笔记（一）
摘要：HDFS分为Master（NameNode/NN） +N个Slaves（DataNode/DN） 集群里只有一个机器上运行NN，其他每台机器上运行一个DN（也可以一个机器上运行多个DN，但生产环境中不建议这么做），一个DN切割n个Block，DN中的Block，只有最后一个才有可能大小不一，其他是一 阅读全文
posted @ 2018-02-26 15:58 猴子1 阅读(112) 评论(0) 推荐(0)