摘要：当Active的NameNode切换为standby时，应用程序操作HDFS,hdfs://active:port实例：1.hadoop1为Active NameNode ,hadoop2为Standby NameNode操作HDFS ,hdfs://hadoop1:90002.hdfs haadmin -failover -forceactive hadoop1 hadoop2 (将hadoop2转为Active节点)操作HDFS，hdfs://hadoop2:9000思考：如何实现应用系统的热切换？ 阅读全文

摘要：192.168.81.132 -> hadoop1 namenode:192.168.81.130 -> hadoop2 datanode1:192.168.81.129 -> hadoop3 datanode2;192.168.81.131 -> hadoop4 datanode3;一、创建账号1.所有节点创建用户 useradd hadoop passwd hadoop2.所有节点创建目录 mkdir -p /home/hadoop/source mkdir -p /home/hadoop/tools3.Slave节点创建目录 mkdir -p /hadoop/hd 阅读全文

摘要：1.Hadoop架构分两部份：Map与Reduce2.Hadoop运行总体印象：第一步：Hadoop框架将输入的数据（HDFS：分布式文件系统），分割成固定大小的Splits(大小为64M)，为每一个Split创建一个Map任务用于执行程序员写的map函数。Split的格式： K->每行首字母在文件中的偏移量 V->每行的字符；如 第二步：将作为参数传递给map(由程序员自定义逻辑处理它)，map生成 K1->为每个字符 V1->出现的次数； 如 第三步：对K1进行排序；如 第四步：Combine进行组合，将结果传给reduce函数；如 第五步：reduce函数（由程序 阅读全文

摘要：前提:eclipse与hadoop的配置成功总结:1.创建一个hadoop项目 导入hadoop包: hadoop-0.20.2-core.jar hadoop-0.20.2-ant.jar hadoop-0.20.2-tools.jar2.创建一个WordCount.java源码import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path; import org.apache.h 阅读全文

摘要：自上周写了第一个HADOOP程序以来，一直没有对开发环境的搭建总结，现总结如下一、安装Cygwin1.安装路径c:/Cygwin2.下载路径X:/Cygwin/3.需要下载如下包 Net Category下的OpenSSL，OpenSSH; Base Category下的sed; Editors Category下的vim,Emacs; Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb4.安装sshd服务 启动cygwin输入命令：ssh-host-config; 根据提示进行相应的操作直至安装完成，安装成功后立即启动名称为“CYGWI 阅读全文

摘要：以下即是checkpoint过程：辅助Namenode请求主Namenode停止使用edits文件，暂时将新的写操作记录到一个新文件中，如edits.new。辅助Namenode节点从主Namenode节点获取fsimage和edits文件（采用HTTP GET）辅助Namenode将fsimage文件载入到内存，逐一执行edits文件中的操作，创建新的fsimage文件辅助Namenode将新的fsimage文件发送回主Namenode（使用HTTP POST）主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件，用步骤1产生的edits.ne 阅读全文

摘要：1.http://www.hadoopor.com/ 开发包2.http://apache.etoak.com/ 软件包3.http://svn.apache.org/repos/asf/ 源码4.http://hadoop.apache.org/common/docs/r0.20.2/cn/mapred_tutorial.html中文教程5.http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499112.html; HBASE访问说明6.http://blog.csdn.net/flyeagle88/article/details/754 阅读全文

摘要：secondarynamenode的作用就是用来做checkpoint---相当于对NameNode节点的元数据备份现在将secondarynamenode部署在另一台机器，是为了引入Zookeeper做自动切换具体方法如下1.修改conf/core-site.xml增加或修改 fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints. fs.checkpoint.size 67108864 The size of the current edit log (in bytes) tha... 阅读全文

摘要：采用FACEBOOK的AvatarNode来实现Hadoop的双机热备功能具体如下一.环境机器Primary:192.168.17.130Standby/NFS:192.168.17.131AvatarDataNode:192.168.17.132软件hadoop-release-0.20.2编译生成的hadoop-0.20.2-highavailability.jar,hadoop-0.20.3-dev-core.jar两个更新包二.具体部署过程1.在192.168.17.130,192.168.17.131,192.168.17.132上创建如下目录/home/hadoop/share/h 阅读全文

摘要：1.源码位置SVN获取 http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.22.进入目录 ant 即可实现编译（保证ant安装正确，build.xml有此文件） 1.根据build.xml 会自动生成相应的class与jar3.手工生成相应的包hadoop-0.20.2-ant.jarhadoop-0.20.2-core.jarhadoop-0.20.2-examples.jarhadoop-0.20.2-test.jarhadoop-0.20.2-tools.jar比如手工生成hadoop-0.20.2-core. 阅读全文