摘要：
Map的结果，会通过partition分发到Reducer上，reducer操作过后会进行输出。输出的文件格式后缀000001就代表1分区。 Mapper处理过后的键值对，是需要送到Reducer那边进行合并，具有相同的key的键值对会送到同一个Reducer上面。哪个key到哪个Reducer的分 阅读全文
posted @ 2019-04-02 15:44
hy_wx
阅读(709)
评论(0)
推荐(0)
摘要：
如果使用windows开发mapreduce程序，是不能进行debug的，会报如下错误，但其实不影响最终运行结果 首先需要设置环境变量，类似JAVA_HOME，HADOOP_HOME，bin目录下面带有winutils.exe和hadoop.dll两个文件就可以 bin目录放入winutils.ex 阅读全文
posted @ 2019-04-02 11:02
hy_wx
阅读(410)
评论(0)
推荐(0)
摘要：
json解析的时候，通常顺序会发生改变，如果我们有保持原有顺序的需求的话可以通过如下方式 1、使用fastJson的Feature.OrderedField 2、初始化JSONObject的时候 3、可以使用Google的Gson，使用gson解析的话是怎么传就是什么顺序 阅读全文
posted @ 2019-04-02 10:20
hy_wx
阅读(5968)
评论(0)
推荐(1)
浙公网安备 33010602011771号