使用spark-sql客户端操作hive数据仓库

使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下

进入到spark bin目录下使用命令开启一个spark-sql:

./spark-sql --master local[*] --jars /usr/hdp/current/hive-server2/lib/mysql-connector-java.jar

因为我们要操作hive,因此需要添加mysql的driver类。

查看库

查看表

spark-sql 将结果输出到文档

spark-sql -S  -e "select * from cmbh_log.hive_user_his_info_rt" > result.txt
posted @ 2023-05-11 15:01  whiteY  阅读(165)  评论(0)    收藏  举报