随笔分类 -  hadoop

学习hadoop
mapreduce 中 map数量与文件大小的关系
摘要：学习mapreduce过程中， map第一个阶段是从hdfs 中获取文件的并进行切片，我自己在好奇map的启动的数量和文件的大小有什么关系，进过学习得知map的数量和文件切片的数量有关系，那文件的大小和切片的数量的有什么关系 ，下面我就进入Hadoop的源代码进行研究一下 文件的大小和切片的数量有什 阅读全文

posted @ 2016-08-20 16:27 搬砖中 阅读(2983) 评论(0) 推荐(0)

Zookeeper 3.4.8分布式安装
摘要：1.机器信息 五台centos 64位机器 2.集群规划 Server Name Hadoop Cluster Zookeeper Ensemble HBase Cluster Hadoop01 Name node & Resource manager Master Hadoop02 Seconda 阅读全文

posted @ 2016-04-27 21:39 搬砖中 阅读(233) 评论(0) 推荐(0)

hadoop-2.7.2 分布式集群搭建
摘要：1.机器信息 五台centos 64位机器 2.集群规划 Server Name Hadoop Cluster Zookeeper Ensemble HBase Cluster Hadoop01 Name node & Resource manager Master Hadoop02 Seconda 阅读全文

posted @ 2016-04-27 11:43 搬砖中 阅读(468) 评论(0) 推荐(0)

centos 64位 下hadoop-2.7.2 下编译
摘要：centos 64位 下hadoop-2.7.2 下编译 由于机器安装的是centos 6.7 64位 系统 从hadoop中下载是32位 hadoop 依赖的的库是libhadoop.so 是32 位 需要重新编译。 下面就是编译的步骤 1 安装jdk<!--?xml:namespace pref 阅读全文

posted @ 2016-04-26 09:12 搬砖中 阅读(398) 评论(0) 推荐(0)

导航