2020年11月20日

reduce_join
摘要： Mapreduce实例——Reduce端join 原理 在Reudce端进行Join连接是MapReduce框架进行表之间Join操作最为常见的模式。 1.Reduce端Join实现原理 （1）Map端的主要工作，为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作 阅读全文
posted @ 2020-11-20 18:04 happygril3 阅读(246) 评论(0) 推荐(0)
OutputFormat
摘要： 在MapReduce中，OutputFormat描述经reducer处理后输出的数据的格式，将用户提供的key/value键值对写入到特定格式的文件中 TextOutputFormat，输出到纯文本文件，格式为 key + " " + value。 DBOutputFormat，输出到DB Sequ 阅读全文
posted @ 2020-11-20 09:44 happygril3 阅读(145) 评论(0) 推荐(0)
reducer
摘要： package com.atguigu.groupingComparator; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import ja 阅读全文
posted @ 2020-11-20 09:40 happygril3 阅读(231) 评论(0) 推荐(0)

导航