摘要: spark-env.sh文件中增加,确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native 阅读全文
posted @ 2018-11-11 22:29 TIMLONG 阅读(1143) 评论(0) 推荐(0)
摘要: 在os x 上设置LD_LIBRARY_PATH无效,env命令看不到这个变量,下面的文章说明了这个问题 说明:网上基本针对这个值的设置分为两面,Windows派和Linux派,Windows的不说,Linux下只会说设置LD_LIBRARY_PATH即可,但这种方式在Java 8是一个错误的设置, 阅读全文
posted @ 2018-11-11 22:27 TIMLONG 阅读(4448) 评论(0) 推荐(0)
摘要: 配置文件: spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO 阅读全文
posted @ 2018-11-11 20:55 TIMLONG 阅读(191) 评论(0) 推荐(0)
摘要: In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex 阅读全文
posted @ 2018-11-11 19:52 TIMLONG 阅读(2480) 评论(1) 推荐(1)