HIVE的shell脚本模板
来源于 https://blog.csdn.net/hr787753/article/details/78667472
重要脚本模板 值得参考
#!/bin/bash # =========================================================================== # 程序名称: hive的shell脚本 # 功能描述: 将book表与course等值连接,数据分区插入 # 输入参数: 运行日期 # 目标表名: book_par # 数据源表: book,course # 创建人: 何睿 # 创建日期: 2017-11-29 # 版本说明: v1.0 # 代码审核: # 修改人名: # 修改日期: # 修改原因: # 修改列表: # =========================================================================== ### 1.参数加载 exe_hive="/home/software/hive-1.2.0-bin/bin/hive" if [ $# -eq 1 ] then day_01=`date --date "${1}" +%Y-%m-%d` else day_01=`date -d '-1 day' +%Y-%m-%d` fi TARGET_DB=school TARGET_TABLE=book_par ###2.定义执行HQL HQL="use ${TARGET_DB}; insert overwrite table ${TARGET_TABLE} partition (dt='${day_01}') select id,name,cno,sname from (select * from book where country='japan') b left join course c on b.id=cno;" ###3.执行HQL bash ${exe_hive} -e "${HQL}" ###4.判断是否成功 result=`hadoop fs -ls /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01} | wc -l` if [ ${result} -gt 1 ] then hadoop fs -touchz /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01}/_SUCCESS echo "-----------etl脚本执行成功------------"
用空常来坐坐
https://www.cnblogs.com/alexgl2008/