韩若明瞳

摘要： spark.read.textFile和sc.textFile的区别 val rdd1 = spark.read.textFile("hdfs://han02:9000/words.txt") //读取到的是一个RDD对象 val rdd2 = sc.textFile("hdfs://han02:9 阅读全文

摘要： RDD:(spark进行计算的基本单位(弹性分布式数据集)) 1.获取RDD 加载文件获取 val = rdd = sc.texFile() 通过并行化获取 val rdd = rdd1 = sc.parallelize() 2.有关rdd常用方法 3.　转换(Transformation): 动作 阅读全文