摘要：1、创建Spark Session 2、将RDD隐式转换为DataFrame import spark.implicits._ 3、SparkSession 介绍 spark中包含 sparkContext和 sqlContext两个对象 sparkContext 是操作 RDD 的 sqlCont 阅读全文

摘要：前言：一些逻辑用spark core 来写，会比较麻烦，如果用sql 来表达，那简直太方便了 一、Spark SQL 是什么 是专门处理结构化数据的 Spark 组件 Spark SQL 提供了两种操作数据的方法： sql 查询 DataFrames/Datasets API Spark SQL = 阅读全文

摘要：对于新司机，可能看到sc与spark不知道是什么，看图知意 ************************************************************************************************************************ 阅读全文