随笔分类 -  spark

spark集群模式
摘要：1、配置集群主机免登陆，参考http://www.cnblogs.com/puroc/p/5996730.html2、修改/etc/hosts文件，增加所有主机名和IP的对应关系 3、修改spark-env.sh，生命master主机的地址（需要使用主机名，使用IP时发生了莫名奇妙的错误） 4、修改 阅读全文
posted @ 2016-10-25 17:33 puroc 阅读(227) 评论(0) 推荐(0)
error: not found: value sc
摘要：【问题】 解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】 这是因为shell启动时没有初始化sparkContext，修改conf/sp 阅读全文
posted @ 2016-10-25 11:45 puroc 阅读(9139) 评论(1) 推荐(1)