2022 年 2月 14 日随笔档案 - 阿伟宝座

2022年2月14日

摘要： MapReduce原理深入理解 1、主要原理（1）Map任务的数量由切片splite决定；Reduce的数量默认是一个，但是可以手动设置（2）MapReduce的输入和输出是基于HDFS的文件；切片splite使用类TestInputFormat将文件中的数据转化为<k1,v1>格式, 此时的阅读全文

posted @ 2022-02-14 23:00 阿伟宝座阅读(202) 评论(0) 推荐(0)

MapReduce的代码编写----wordCount示例

摘要： MR的代码编写 1、导入依赖  <dependency> <groupId>org.apache.hadoop</gro 阅读全文

posted @ 2022-02-14 19:55 阿伟宝座阅读(313) 评论(0) 推荐(0)

阿伟宝座

公告