摘要：1. 位于 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件 这里记录的是WEB访问的端口 那么我们需要打开历史服务 mr-jobhistory-daemon.sh start historyserver 再 浏览器输入 node1:19888 就可以直接看到执行 阅读全文

摘要：1. shell 获取 HDFS文件个数 >适用于查看碎片程度 hadoop fs -count /user | awk '{print $2}'11(我的返回是11) hadoop fs -count /user(你的路径) 返回的是 文件夹数 文件数 大小 | awk '{print $2}' 阅读全文

摘要：1.在NameNode的一个节点下执行以下命令 #!/bin/bash for i in 192.168.1.101 192.168.1.102 192.168.1.103 do ssh $i "source /etc/profile;source ~/.bash_profile;/home/abb 阅读全文

摘要：ZX: 在Hadoop的map阶段 , 每个map任务都可以执行特殊的任务 , 当然 , 也包括取每个分片中最大的几个值. 然后汇总 , 再取TopN 这样的好处是 , 如果有2万个分片 , 2亿条数据 ,在Map完之后 假如是取Top10 , 那么经过Map阶段的Top10,最后只用处理2万X10 阅读全文