Arron的博客

导航

随笔分类 -  Spark+Hadoop+Hive

Spark+Hadoop问题小结
摘要：1、spark执行./start-all.sh报“WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1.” 解决办法：在spark-env.sh中加入“export SPARK_LOCAL_IP=1 阅读全文

posted @ 2016-12-03 17:31 aaron_shu 阅读(205) 评论(0) 推荐(0)

Windows下Eclipse+Scala+Spark开发环境搭建
摘要：1、安装JDK及配置java环境变量 本文使用版本为jdk1.7.0_79，过程略 2、安装scala 本文使用版本为2.11.8，过程略 3、安装spark 本文使用版本为spark-2.0.1-bin-hadoop2.7，解压后路径：D:\spark-2.0.1-bin-hadoop2.7，注意 阅读全文

posted @ 2016-11-14 00:02 aaron_shu 阅读(2377) 评论(0) 推荐(0)