摘要： #RDD(2) ##RDD转换算子 RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型 ###value类型 ####map 函数签名 def map[U:ClassTag](f:T=>U):RDD[U] 函数说明 将处理的数据逐条进行映射转换，这里 阅读全文

摘要： Spark计算框架为适应高并发和高吞吐的数据处理需求，封装了三大数据结构，以处理不同应用： 1）RDD:弹性分布式数据集 2）累加器：分布式共享只写变量 3）广播变量：分布式共享只读变量 ##RDD(1) ###什么是RDD RDD(Resilient Distributed Dataset)弹性分 阅读全文