摘要:
阅读全文
posted @ 2020-05-22 20:27
zwtzz
阅读(179)
评论(0)
推荐(0)
摘要:
假设有数据量T级名为data的RDD,需要做一些列动作,一般需要使用map-reduce,其中map阶段可以使用def函数或者lambda形式,返回新的RDD,reduce可以起到累加作用,例: 1 from pyspark import SparkConf 2 conf = SparkConf() 阅读全文
posted @ 2020-05-22 14:49
zwtzz
阅读(1508)
评论(0)
推荐(0)