2016 年 10月 25 日随笔档案 - puroc

2016年10月25日

摘要： 1、配置集群主机免登陆，参考http://www.cnblogs.com/puroc/p/5996730.html2、修改/etc/hosts文件，增加所有主机名和IP的对应关系 3、修改spark-env.sh，生命master主机的地址（需要使用主机名，使用IP时发生了莫名奇妙的错误） 4、修改阅读全文

posted @ 2016-10-25 17:33 puroc 阅读(218) 评论(0) 推荐(0) 编辑

spark单机模式

摘要： 1、下载spark，解压2、复制conf/spark-env.sh和conf/log4j.properties 3、编辑spark-env.sh，设置SPARK_LOCAL_IP，docker-1为主机名，对应IP为10.10.20.204 4、运行example，执行如下命令 5、启动shell 阅读全文

posted @ 2016-10-25 17:26 puroc 阅读(582) 评论(0) 推荐(0) 编辑

ssh免密码登录配置

摘要：【原理】 /root/.ssh/authorized_keys这个文件用来存储登录该主机的用户公钥信息，当用户采用ssh登录时，linux会用authorized_keys文件中存储的公钥和用户登录时发送的私钥进行匹配，如果匹配成功，则用户不需要输入密码即可登录。【配置过程】 1、执行ssh-ke 阅读全文

posted @ 2016-10-25 15:04 puroc 阅读(278) 评论(0) 推荐(0) 编辑

error: not found: value sc

摘要：【问题】解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc 【解决办法】这是因为shell启动时没有初始化sparkContext，修改conf/sp 阅读全文

posted @ 2016-10-25 11:45 puroc 阅读(8886) 评论(1) 推荐(1) 编辑

puroc

公告