摘要:
当集群启动的时候,会首先进入到安全模式。系统在安全模式下,会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在dataNode上就应该有5个副本存在,假设只存在3个副本,那么比率就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的... 阅读全文
posted @ 2015-04-23 10:45
孟想阳光
阅读(298)
评论(0)
推荐(0)
摘要:
作用:在Mapper端对数据进行Combine归约处理,Combine业务逻辑与Reducer端做的完全相同。处理后的数据再传送到Reducer端,再做一次归约。这样的好处是减少了网络传输的数量。在Mapper进行归约后,数据量变小了,这样再通过网络传输时,传输时间就变短了,减少了整个作业的运行时间... 阅读全文
posted @ 2015-04-23 10:38
孟想阳光
阅读(614)
评论(0)
推荐(0)
摘要:
选项名称使用格式含义-ls-ls 查看指定路径的当前目录结构-lsr-lsr 递归查看指定路径的目录结构-du-du 统计目录下个文件大小-dus-dus 汇总统计目录下文件(夹)大小-count-count [-q] 统计文件(夹)数量-mv-mv 移动-cp-cp 复制-rm-rm [-sk... 阅读全文
posted @ 2015-04-23 10:33
孟想阳光
阅读(216)
评论(0)
推荐(0)
摘要:
修改配置文件/etc/profile,增加环境变量HADOOP_HOME_WARN_SUPPRESS=1,保存退出,再次启动hadoop,就不会出现警告信息了 阅读全文
posted @ 2015-04-23 10:32
孟想阳光
阅读(136)
评论(0)
推荐(0)
摘要:
1.解压hadoop-1.1.2.tar.gz,重点在src文件夹2.在eclipse中通过菜单栏创建一个java工程,工程名随便3.在创建的工程上,点击右键,在弹出菜单中选择最后一项,在弹出窗口中,左边选择“Java Build Path“,右边选择Libraries,然后点击Add Extern... 阅读全文
posted @ 2015-04-23 10:30
孟想阳光
阅读(133)
评论(0)
推荐(0)
摘要:
50070端口查看NameNode状态,该端口的定义位于core-default.xml中,可以在core-site.xml中自行修改。50075端口查看DataNode的,该地址和端口的定义位于hdfs-default.xml中,50090端口查看SecondaryNameNode的50030端口... 阅读全文
posted @ 2015-04-23 10:25
孟想阳光
阅读(1435)
评论(0)
推荐(0)
摘要:
* 路径描述符在Linux中,路径是通过斜线“/”划分的。在一个使用“/”划分的长路径中,开头的如果是“/”,这个斜线是特殊的,称作根路径。根路径使用“/”表示,在路径的开始位置,类似于Windows的“我的电脑”;点号“.”表示当前路径,无论你在哪个位置,点号都表示当前所在的路径;两个点“..”表... 阅读全文
posted @ 2015-04-23 10:20
孟想阳光
阅读(142)
评论(0)
推荐(0)