Liuyt_61

愿踏遍山河,仍觉人间值得

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2017年6月8日

摘要: 参考的这3个文档,虽然搭建花了挺长时间也遇到挺多问题,但是这3个文档对我的帮助确实挺大,如果有兴趣的或者有需要的可以参考以下文档。 http://blog.csdn.net/wy250229163/article/details/52729608 http://blog.csdn.net/u0126 阅读全文
posted @ 2017-06-08 23:47 Liuyt_61 阅读(169) 评论(0) 推荐(0) 编辑

摘要: 启动hadoop再启动spark后jps,发现master进程和worker进程同时存在,调试了半天配置文件。 测试发现,当我关闭hadoop后 worker进程还是存在, 但是,当我再关闭spark之后再jps,发现worker进程依旧存在 于是想起了在~/spark/conf/slaves 中配 阅读全文
posted @ 2017-06-08 23:43 Liuyt_61 阅读(1974) 评论(0) 推荐(0) 编辑

摘要: 因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置 合理地对 /spark-default.conf 进行配置,能够提高执行效率 先cp复制模板文件 然后添加配置信息 阅读全文
posted @ 2017-06-08 23:37 Liuyt_61 阅读(2796) 评论(0) 推荐(0) 编辑

摘要: sudo chown -R $USER 文件夹路径 例如:sudo chown -R $USER ~/scala 阅读全文
posted @ 2017-06-08 18:19 Liuyt_61 阅读(11064) 评论(0) 推荐(1) 编辑