摘要: Spark Streaming、离线计算、实时计算、实时查询、Spark Streaming 原理、Spark Streaming WordCount、Spark Streaming 架构图 目录 Spark Streaming 离线计算、实时计算、实时查询 Spark Streaming 原理 S 阅读全文
posted @ 2022-03-13 23:20 阿伟宝座 阅读(184) 评论(0) 推荐(0)
摘要: 查看 spark-sql 的 SQL语法树、spark-sql 的优化、整合 hive 之后通过代码操作 一、查看 spark-sql 的 SQL语法树 查看 spark-sql 的web界面的一种方式 在通过 spark-sql --master yarn-client 命令进入 spark-sq 阅读全文
posted @ 2022-03-13 21:44 阿伟宝座 阅读(247) 评论(0) 推荐(0)
摘要: spark-sql 写代码的三种方式 一、在idea里面将代码编写好打包上传到集群中运行 上线使用 spark-submit提交(项目常用) 1、编写代码 编写代码三步骤: (1)创建环境 (2)读取文件、编写逻辑 (3)保存数据 package com.shujia.sql import org. 阅读全文
posted @ 2022-03-13 21:10 阿伟宝座 阅读(1685) 评论(0) 推荐(0)
摘要: DSL的语法 SQL中的执行顺序 from --> join --> on --> where --> group by --> having --> select --> order by --> limit 在DSL中没有having,where可以放在分组前,也可以放在分组后 select() 阅读全文
posted @ 2022-03-13 14:57 阿伟宝座 阅读(1994) 评论(0) 推荐(0)