随笔分类 -  Spark 2.4批处理

批处理-- SparkSQL
摘要：RDD, DataFrame, DataSet相互装换 假设有个样例类：case class Emp(name: String),它们相互转换如下： 1. RDD →DataFrame 和 RDD →DataSet RDD →DataFrame：rdd.toDF("name") RDD →DataS 阅读全文
posted @ 2021-11-19 02:58 空归
批处理-- SparkCore之算子
摘要：![image](https://img2020.cnblogs.com/blog/2459099/202111/2459099-20211119011957814-870385544.png) 阅读全文
posted @ 2021-11-19 01:20 空归
批处理-- SparkCore
摘要：数据源-source 1. 加载本地集合，转换为RDD import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //parallelize :并行化，平行化 object Paralleliz 阅读全文
posted @ 2021-11-19 01:16 空归