09 2016 档案

摘要:初学mapreduce programing,纠结一天的问题如下: job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出,也就是说只有map和reduce输出是一样的时候才不会出问题。 so sort.jav 阅读全文
posted @ 2016-09-20 14:58 qczhang 阅读(1174) 评论(0) 推荐(0)
摘要:1.ssh 相关问题: rm ~/.ssh/known_hosts //与ssh中的不服 //再重新生成密钥 2.ERROR namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/c 阅读全文
posted @ 2016-09-19 10:40 qczhang 阅读(628) 评论(0) 推荐(0)
摘要:FileInputFormat是所有使用文件作为数据源的InputFormat的积累。它提供两个功能:一个是定义哪些文件包含在一个作业的输入中;一个为输入文件生成分片的实现。自动将作业分块 作业分块大小与mapred-site.xml中的mapred.min.split.size和mapred.mi 阅读全文
posted @ 2016-09-19 10:33 qczhang 阅读(700) 评论(0) 推荐(0)