摘要：Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapRedu... 阅读全文

摘要：首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， rpm -i xxxxx.rpm 远程连接mysql，操作步骤如下：1、进入mysql环境中 mysql ... 阅读全文

摘要：1、将zookeeper-3.4.5.tar.gz这个文件上传到huanghe的/usr/local目录下2、进入local目录下，执行解压 tar -zxvf zookeeper-3.4.5.tar.gz3、将解压后生成的zookeeper-3.4.5文件文件夹重命名为zk mv zooke... 阅读全文

摘要：系统正在运行，如何添加一个从节点：步骤一：配置好要新节点的的环境步骤二： 在主节点的配置文件slaves文件中添加一行新节点的ip步骤三： 然后在新节点中分别执行以下命令，启动进程：hadoop-daemon.sh start datanode hadoop-daemon.sh start task... 阅读全文

摘要：SSH免密码互联，例如要想实现在192.168.56.100的终端连接192.168.56.101的主机，需要如下配置：（注：192.168.56.100对应的主机名为：huanghe192.168.56.101对应的主机名为：huanghe1）将192.168.56.100的公钥复制到192.16... 阅读全文

摘要：hadoop的分布式安装过程分布结构 主节点(1个,是huanghe):NameNode、JobTracker、SecondaryNameNode从节点(2个,是huanghe1、huanghe2):DataNode、TaskTracker我的配置：用户名/密码均为：root/huanghe集群 主... 阅读全文