2019年1月10日
spark-sql createOrReplaceTempView 和createGlobalTempView区别
摘要： 在讲解 createOrReplaceTempView 和createGlobalTempView的区别前，先了解下Spark Application 和 Spark Session区别 Spark Application Spark Application 使用： 针对单个批处理作业 多个job通 阅读全文
posted @ 2019-01-10 19:09 吊车尾88 阅读(31419) 评论(1) 推荐(3)
spark session 深入理解
摘要： spark 1.6 创建语句 在Spark1.6中我们使用的叫Hive on spark，主要是依赖hive生成spark程序，有两个核心组件SQLcontext和HiveContext。 这是Spark 1.x 版本的语法 而Spark2.0中我们使用的就是sparkSQL，是后继的全新产品，解除 阅读全文
posted @ 2019-01-10 18:22 吊车尾88 阅读(7567) 评论(0) 推荐(1)
spark-submit 应用程序第三方jar文件
摘要： 第一种方式：打包到jar应用程序 操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景：第三方jar文件比较小，应用的地方比较少 第二种方式：spark-submit 参数 --jars 操作：使用spark-submit提交命令的参数: --jars 要求： 1、使用s 阅读全文
posted @ 2019-01-10 14:07 吊车尾88 阅读(11715) 评论(0) 推荐(0)
Spark DataFrame中的join使用说明
摘要： spark sql 中join的类型 Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join; spark join 看其原型 def join(right : DataFrame, usingColumns 阅读全文
posted @ 2019-01-10 12:37 吊车尾88 阅读(32310) 评论(3) 推荐(0)