2019年1月5日
SparkSQL的执行讲解图
摘要： 阅读全文
posted @ 2019-01-05 15:50 Coding_Now 阅读(242) 评论(0) 推荐(0)
SparkSQL加载外部数据源和存储至外部数据源
摘要： 可以加载好多种外部数据源的格式，例如：csv，text，json，parquet等。我们在这里讲解下json和parquet格式。 json： 代码： def main(args: Array[String]): Unit = { val spark = SparkSession.builder() 阅读全文
posted @ 2019-01-05 15:45 Coding_Now 阅读(675) 评论(0) 推荐(0)
SparkSQL的反射机制和自定义创建DataFrame
摘要： 反射机制 1.RDD[Person] (case:反射机制) >DataFrameF[ROW] >DataSet[Person] RDD DF DS Person ["name","age","address"] {Person：("name","age","address")} Person [" 阅读全文
posted @ 2019-01-05 15:22 Coding_Now 阅读(749) 评论(0) 推荐(0)