会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Allegro
博客园
首页
新随笔
联系
订阅
管理
12 2018 档案
Spark RDD与MapReduce
摘要:什么是Map、什么是Reduce MapReduce是一个分布式编程计算模型,用于大规模数据集的分布式系统计算。 我个人理解,Map(映射、过滤)就是对一个分布式文件系统(HDFS)中的每一行(每一块文件)执行相同的函数进行处理; Reduce(规约、化简)就是对Map处理好的数据进行两两运算,因此
阅读全文
posted @
2018-12-20 10:34
Allegro
阅读(1778)
评论(0)
推荐(0)
公告