马小纪

摘要： map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter: Iterator[(Int)]) => 阅读全文

摘要： Spark笔记 1. flatMap和map的区别 map函数会对每一条输入进行指定的操作，然后每一条输入返回一个对象； flatMap函数则是两个操作的集合，即先映射再扁平化： i.同map函数一样，对每一条输入进行指定的操作，然后为每一条输入返回一个对象； ii.然后将所有对象合并成一个对象。 阅读全文