摘要：
宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据 》执行map函数 》combine结果 》将结果写到本地磁盘上；对于reduce phase，同样包含四个子阶段：从各个map task上读相应的数 阅读全文
随笔分类 - hadoop
hadoop mapreduce lzo
2016-01-07 18:38 by 【戈多】, 300 阅读, 收藏,
摘要：
import com.hadoop.compression.lzo.LzoIndexer;import com.hadoop.compression.lzo.LzopCodec;FileOutputFormat. setCompressOutput( job, true); // 设置压缩FileO... 阅读全文
hadoop 输出文件 key val 分隔符
2015-09-09 10:21 by 【戈多】, 467 阅读, 收藏,
摘要：
Configuration conf = getConf();// 输出结果key val 分隔符修改为空 直接输出结果conf.set("mapreduce.output.key.field.separator", ""); 阅读全文
HOW TO CHANGE THE DEFAULT KEY-VALUE SEPARATOR OF A MAPREDUCE JOB
2015-08-05 11:19 by 【戈多】, 236 阅读, 收藏,
摘要：
The default MapReduce output format,TextOutputFormat, writes records as lines of text. Its keysand values may be of any type, since TextOutputFormat t... 阅读全文
Hadoop Terasort
2014-06-14 16:45 by 【戈多】, 280 阅读, 收藏,
摘要：
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar teragen 10000000 /terasort/input1GBbin/hadoop jar ./share/hadoop/mapreduce... 阅读全文
hadoop DataNode 无法启动
2014-06-13 19:18 by 【戈多】, 145 阅读, 收藏,
摘要：
/opt/hadoop-2.2.0/hdfs 清空data name 目录[root@hd2-single bin]# hdfs namenode -format 阅读全文
浙公网安备 33010602011771号