2022年1月5日
03_MapReduce框架原理_3.14. MapReduce 开发总结
摘要： 1. 输入数据接口 ：InputFormat 1. 默认使用的实现类 ：TextInputFormat 一次读取一行文本,该行的起始偏移量为key,行内容为value 2. CombineTextInputFormat 可以将多个小文件合并成一个切片处理,提高处理效率 3. 博客连接 https:/ 阅读全文
posted @ 2022-01-05 19:26 学而不思则罔！ 阅读(39) 评论(0) 推荐(0)
03_MapReduce框架原理_3.13 ETL(Map端过滤数据)
摘要： package MapFilterPk { import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path} import org.apache. 阅读全文
posted @ 2022-01-05 18:27 学而不思则罔！ 阅读(90) 评论(0) 推荐(0)
03_MapReduce框架原理_3.12 Join 应用
摘要： 1. 需求描述 订单数据表 : t_order表 id 订单id pid 产品id amount 产品数量 id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 商品信息表 : t_product表 pid 阅读全文
posted @ 2022-01-05 18:04 学而不思则罔！ 阅读(49) 评论(0) 推荐(0)