在linux环境下启动spark-sql遇到的错误

1.spark-sql启动报错
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
原因:在启动时 找不到tez的jar包
解决方法:将tez目录下的tez-api-0.9.1.jar 复制一份到 spark的jars目录下
cp tez-api-0.9.1.jar /opt/servers/spark/jars/
分发到其他集群

2.解决上面的问题之后 又报了一个错
java.lang.NoClassDefFoundError: org/apache/tez/mapreduce/hadoop/MRHelpers
原因:和上面的问题一样 都是累找不到异常 找不到tez目录下的MapReduce jar包
解决方法:将tez目录下的tez-mapreduce-0.9.1.jar 复制一份到 spark的jars目录下
cp tez-mapreduce-0.9.1.jar /opt/servers/spark/jars/
分发到其他集群

3. 又报了一个错
org.apache.tez.dag.api.TezUncheckedException: Invalid configuration of tez jars, tez.lib.uris is not defined in the configuration
原因:hadoop运行时 找不到tez的配置文件 tez-site.xml
解决方法:将hive/conf/ 目录下的tez-site.xml 放到hadoop的配置目录下
cp tez-site.xml /opt/servers/hadoop-2.7.2/etc/hadoop/

之后运行正常
4.在hive中执行查询语句时 报了一个错
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
原因:没有jar包 但是该错误不影响使用
在新版本当中 使用了slf4j的jar 不再使用log4j

posted @ 2021-01-30 10:47  唐松林  阅读(711)  评论(0)    收藏  举报