问题解决:Spark Unable to load native-hadoop library for your platform

软件版本

软件版本
spark2.4.0
hadoop3.2.0
scala2.11.8

问题场景

启动spark-shell的时候,有WARN提示,提示如下:

Unable to load native-hadoop library for your platform

原因

缺少对Hadooplib的引用。在环境变量里面进行设置即可。

解决方法

  1. 编辑 /etc/profile

    export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
    export  PATH=$PATH:$LD_LIBRARY_PATH
    
  2. 使环境变量生效

    source /etc/profile
    
  3. 测试
    在这里插入图片描述

posted on 2022-11-29 18:40  枫夜求索阁  阅读(123)  评论(0)    收藏  举报

导航