启动hive,报错 ls: cannot access /export/spark/lib/spark-assembly-*.jar: No such file or directory,解决

安装好spark,安装hive,安装的spark版本是2.1.3版本,hive版本是1.1.0

安装好hive后,启动,发现一个报错,cannot access /export/spark/lib/spark-assembly-*.jar: No such file or directory.

 

看了一下,出现这个问题的原因是因为spark版本升级到2.x以后,原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。

解决办法:打开hive下面的bin目录,找到hive文件,编辑hive文件,找到如下一行

编辑,改为

sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`

这样就解决了,再次启动,没有报错.