spark快速入门之最简配置 spark 1.5.2 hadoop 2.7 配置

配置的伪分布式,ubuntu14.04上

先配置hadoop,参见这个博客,讲的很好  

http://www.powerxing.com/install-hadoop/,

但是我在配的过程中还是遇到了问题:

问题1:设置免登录的时候,虽然是按步骤做的,但ssh localhost测试,总是提示要输入密码。这个博客说的比较清楚:http://blog.csdn.net/budapest/article/details/8022926

解决办法:chmod 600 authorized_keys

问题2:在运行hadoop例子的过程中,提示找不到java_home的路径,虽然我在全局已经配置了,但是貌似这个是找hadoop的配置文件

解决办法:找到 /usr/local/hadoop/etc/hadoop 目录下的 hadoop-env.sh,最末尾加上JAVA_HOME的路径

 

配置完hadoop ,接下来配置spark

参见博客:http://bit1129.iteye.com/blog/2171761

1.这个博客里提到的hadoop.master 对应的ip 是在 /etc/hosts 文件中配置对应关系

2.运行spark前,需要先启动hadoop。如图:

步骤一:

 

步骤二:

 

然后运行shell就好了

 

posted @ 2015-12-14 17:35  smile_tina  阅读(3015)  评论(0编辑  收藏