摘要：
1.1.1 Stream 作业 （1）hadoop streaming Hadoop streaming是hadoop的一个工具，用于运行费java的maper或reducer作业，例如maper和reducer是C++编写的可执行程序或者脚本文件。同时也可以是java类。 HADOOP_HOME/ 阅读全文
posted @ 2020-01-30 09:58
一字千金
阅读(566)
评论(0)
推荐(0)
摘要：
1.1.1 默认的map函数和reduce函数 （1）Maper和Reuducer默认类 如果没有指定maper类和reduce类，则会用默认的Maper和Reuducer类去处理数据。也可以显示的将处理类设置为Maper和Reducer类。默认的Maper类和reduce类是将输入原封不动的输出。 阅读全文
posted @ 2020-01-30 09:56
一字千金
阅读(376)
评论(0)
推荐(0)
摘要：
1.1 Mapreduce输入输出类型 （1）map和reduce输入输出类型一致性 Map输入输出类型可以不用，但是map的输出和reduce的输入类型要一致，reduce的输入输出也可不一样。 Map（K1,V1）àlist(K2,V2) Reduce (K2,list(V2))->list(K 阅读全文
posted @ 2020-01-30 09:53
一字千金
阅读(1325)
评论(0)
推荐(0)
浙公网安备 33010602011771号