摘要： mapPartitions操作与 map类似，只不过映射的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器，如果映射过程需要频繁创建额外的对象，使用mapPartitions操作要比map操作效率高效许多。比如将RDD中的所有数据通过JDBC链接写入数据库，如果使用map函数，可能要为每个 阅读全文

摘要： scala> val personRDD=sc.textFile("/tmp/person.txt")personRDD: org.apache.spark.rdd.RDD[String] = /tmp/person.txt MapPartitionsRDD[39] at textFile at < 阅读全文