摘要：参见链接：http://orchome.com/kafka/index 阅读全文

摘要：1.安装ssh. sudo apt-get install ssh. 安装完成后会在~目录（当前用户主目录，即这里的/home/xuhui）下产生一个隐藏文件夹.ssh（ls -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可（mkdir .ssh）. 2.进入.ssh目录下面，在每台机器上执行：ssh-keygen -t rsa 之后一路回车，产生密钥； 3。完成第二步后会产生两... 阅读全文

摘要：Hadoop集群主要是由三部分组成的：主节点、从节点和客户端，即master、slave和client。我们在搭建hadoop集群的时候通常只考虑了主节点和从节点的搭建，却忽略了客户端。当我们搭建完成后，我们在其中的一台机器上运行wordcount或者计算π时，实际上我们已经默认将一台主节点或者一台从节点当做客户端来使用了，但是，如果我想把客户端独立，该如何单独配置客户端呢？ ... 阅读全文

摘要：一、Mapreduce1 图1 MR1工作原理图 工作流程主要分为以下6个步骤： 1 作业的提交 1)客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取，见第2步 2)计算作业的输入分片，将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)复制到一个以ID命名的jobtracker的文件系统中(HDFS)，见第3步 ... 阅读全文

摘要：1 hadoop1.0时期架构 2 hadoop2.0时期架构 3 hdfs架构 【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求 【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active Nam... 阅读全文

摘要：前一天运行hadoop一切安好，今天重新运行出现BUG。下面对遇到的bug、产生原因以及解决方法进行一下简单总结记录。 【bug1】用ssh localhost免密登录时提示要输入密码。 原因分析：之前配置好了ssh免密登录并且ssh localhost以及ssh Slave1、ssh Master 阅读全文