2017年8月18日

yarn
摘要： yarn主要是1.0mapreduce的新框架，主要解决了1.0单点故障的问题，yarn主要分为ResourceManager、ApplicationManager、NodeManager、Container。 yarn把1.0的资源管理和调度、应用程序的管理分开，主要由ResourceManage 阅读全文
posted @ 2017-08-18 18:07 3池 阅读(118) 评论(0) 推荐(0)
hdfs结构
摘要： hdfs文件系统主要由四部分组成：client客户端、namenode、datanode、secondary namenode. client：1.分割文件成block. 2.与namenode交互，获取文件的位置信息。 3.与datanode交互，读取和写入数据。 namenode：1.接收客户端 阅读全文
posted @ 2017-08-18 16:32 3池 阅读(205) 评论(0) 推荐(0)
mapreduce的执行过程
摘要： 1.首先是map获取分片，分片的大小和分片规则取决于文件输入的格式，FileInputFormat是输入格式的一个基类，FileInputFormat下有几个重要的子类，分别是TextInputFormat，KeyValueTextInputFormat，NLineInputFormat等等，使用什 阅读全文
posted @ 2017-08-18 16:20 3池 阅读(167) 评论(0) 推荐(0)

导航