文章分类 - spark

spark RDD算子功能与分类

摘要：算子的定义：RDD中定义的函数，可以对RDD中的数据进行转换和操作。下面根据算子类型的分类进行总结：1. value型算子从输入到输出可分为一对一（包括cache）、多对一、多对多、输出分区为输入分区自激1)一对一，map,简单的一对一映射，集合不变；flatMap，一对一映射，并将最后映射结果整... 阅读全文

posted @ 2015-12-24 11:24 sxron 阅读(938) 评论(0) 推荐(0)