oozie使用shell刷新impala元数据

注意

如果不加PYTHON_EGG_CACHE环境变量会导致执行失败,impala-shell本身可以正常执行,估计是oozie调用shell时会使用到python的一个缓存文件,这里加上export PYTHON_EGG_CACHE=/tmp/python-eggs即可成功调用服务

代码

flush-impala-metadata.sh

mkdir -p /tmp/python-eggs

export PYTHON_EGG_CACHE=/tmp/python-eggs

impala-shell -i node2 -q 'INVALIDATE METADATA'

job.properties

nameNode=hdfs://node1:8020
jobTracker=node1:8032

oozieAppsRoot=user/oozie/apps/flush-impala-demo

oozie.use.system.libpath=true

oozie.wf.application.path=\({nameNode}/\){oozieAppsRoot}

ENDING_SHELL=flush-impala-metadata.sh

workflow.xml




\({jobTracker}</job-tracker> <name-node>\){nameNode}
\({ENDING_SHELL}</exec> <file>\){ENDING_SHELL}#${ENDING_SHELL}





Hive failed, error message[${wf:errorMessage(wf:lastErrorNode())}]


posted @ 2018-12-12 16:28  shenjie2017  阅读(395)  评论(0)    收藏  举报