Spark中的隐式转换
在Spark中,当进行程序编写的时候,都是调用一个个算子,在外部看上去似乎都是在调用RDD算子,似乎这些算子都是存在在RDD这个文件中,但是RDD中直接存在的只有map,filter这些基本算子,其他都是通过伴生类中的隐式转换调用其他文件下的算子的。这图就是源码包下的一段说明,这里主要记录一下PairRDDFunctions,这个设级k,v类型操作算子的文件,其他的后续了解到在继续补充。

下图就是伴生类中隐式转换的调用代码。

PairRDDFunctions是k,v操作的算子文件。
主要包括有combineByKey,reduceBykey,aggregateBykey,foldBykey,countBykey,groupBykey
join,leftouterJoin,rightouterjoin,fullouterjoin,mapvalues,flatmapvalues,cogroup这些涉及kv的算子

浙公网安备 33010602011771号