2018年10月10日

Hbase 集群安装(Hadoop 2.6.0 hbase0.99.2)

摘要: 一:说明 该安装是在hadoop集群安装后进行,详情可见上一篇博客虚拟机centos7系统下安装hadoop ha和yarn ha(详细) 。其中涉及五台机器,两台master(机器名:master,master2),三台slave(slave01,slave02,slave03)。以下将在mast 阅读全文

posted @ 2018-10-10 16:59 天生一对 阅读(191) 评论(0) 推荐(0) 编辑

Hadoop mapreduce执行过程涉及api

摘要: 资源的申请,分配过程略过,从开始执行开始。 mapper阶段: 首先调用默认的PathFilter进行文件过滤,确定哪些输入文件是需要的哪些是不需要的,然后调用 inputFormat的getSplits 方法进行文件的分割,返回inputSplit列表,每个inputSplit会分到对应的mapp 阅读全文

posted @ 2018-10-10 14:47 天生一对 阅读(180) 评论(0) 推荐(0) 编辑

导航