习惯了蓝

摘要： cogroup算子是协分组算子，它的作用是合并多个RDD内容，这也是一个k,v类型的算子。 把合并起来的多个RDD中，共同的key算作key,value为一个元组，元组内容是compactbuffer，里面内容是之前RDD的value值。cogroup几个RDD就有几个RDD 具体可以看下面俩副图。 阅读全文

摘要： 在Spark中，当进行程序编写的时候，都是调用一个个算子，在外部看上去似乎都是在调用RDD算子，似乎这些算子都是存在在RDD这个文件中，但是RDD中直接存在的只有map，filter这些基本算子，其他都是通过伴生类中的隐式转换调用其他文件下的算子的。这图就是源码包下的一段说明，这里主要记录一下Pai 阅读全文