使用spark-sql客户端操作hive数据仓库
使用spark-sql操作hive数据仓库的前提是需要把hive 配置文件hive-site.xml复制到spark conf目录下
进入到spark bin目录下使用命令开启一个spark-sql:
./spark-sql --master local[*] --jars /usr/hdp/current/hive-server2/lib/mysql-connector-java.jar
因为我们要操作hive,因此需要添加mysql的driver类。

查看库

查看表

spark-sql 将结果输出到文档
spark-sql -S -e "select * from cmbh_log.hive_user_his_info_rt" > result.txt
本文来自博客园,作者:whiteY,转载请注明原文链接:https://www.cnblogs.com/whiteY/p/17391079.html

浙公网安备 33010602011771号