ls: cannot access /usr/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or directory
问题:进入hive时报错,如下所示
[root@hadoop001 bin]# hive ls: cannot access /usr/software/spark-2.0.1-bin-hadoop2.7/lib/spark-assembly-*.jar: No such file or directory
原因是:
spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
解决办法是:修改bin目录下的hive文件
1 vim hive
找到下面内容
# add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}" fi
将紫色部分改为:sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
保存退出,再次进入,问题解决
参考:https://blog.csdn.net/weixin_42496757/article/details/87555292

浙公网安备 33010602011771号