问题解决:Spark Unable to load native-hadoop library for your platform
软件版本
| 软件 | 版本 |
|---|---|
| spark | 2.4.0 |
| hadoop | 3.2.0 |
| scala | 2.11.8 |
问题场景
启动spark-shell的时候,有WARN提示,提示如下:
Unable to load native-hadoop library for your platform
原因
缺少对Hadoop的lib的引用。在环境变量里面进行设置即可。
解决方法
-
编辑
/etc/profileexport LD_LIBRARY_PATH=$HADOOP_HOME/lib/native export PATH=$PATH:$LD_LIBRARY_PATH -
使环境变量生效
source /etc/profile -
测试

浙公网安备 33010602011771号