2023年5月11日
spark-sql 启动客户端报错问题
摘要： ###1.spark-sql启动报错 java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 原因：在启动时 找不到tez的jar包 解决方法：将tez目录下的tez-api-0.9.1.jar 复制一份到 s 阅读全文
posted @ 2023-05-11 15:04 whiteY 阅读(217) 评论(0) 推荐(0)
使用spark-sql客户端操作hive数据仓库
摘要： 使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下 进入到spark bin目录下使用命令开启一个spark-sql： ./spark-sql --master local[*] --jars /usr/hdp/cur 阅读全文
posted @ 2023-05-11 15:01 whiteY 阅读(165) 评论(0) 推荐(0)
Spark-shell的使用
摘要： 使用spark-shell操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到sparkconf目录下 进入到spark bin目录下使用命令开启一个spark-shell： ./spark-shell --master local[2] --jars /home/i 阅读全文
posted @ 2023-05-11 11:44 whiteY 阅读(97) 评论(0) 推荐(0)