摘要：网址：http://www.cnblogs.com/felixzh/p/4680808.html Shuffle过程，也称Copy阶段。reduce task从各个map task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定的阀值，则写到磁盘上，否则直接放到内存中。 官方的Shuffle 阅读全文

摘要：原文网址：http://blog.itpub.net/30316686/viewspace-2057204/ 详细的了解Shuffle过程，能更好的对hadoop集群进行优化。 MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时， 阅读全文

摘要：Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

摘要：【桥接方式】 说明：自己搭建的时候用的是桥接，因为用的是2两个物理机搭建3台虚拟机所以采用桥接便于三个虚拟机在一个网段，但是不知道对后期有没有影响，目前搭建成功 （1）设置桥接方式 查看本地连接网卡 CentOS设置桥接方式 （2）设置Linux的ip（与物理机同一网段） 查看本地ip网段 设置完成 阅读全文