2017年9月13日

SPARK ON YARN

摘要： 最近毕设需要用到 Spark 集群，所以就记录下了部署的过程。我们知道 Spark 官方提供了三种集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最为方便，本文主要讲述结合 YARN 的部署方案。 软件环境： Ubuntu 14.04.1 LTS (GNU 阅读全文

posted @ 2017-09-13 10:23 舟岩 阅读(138) 评论(0) 推荐(0) 编辑

2017年9月12日

hadoop2.6.0高可靠及yarn 高可靠搭建

摘要： 以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如 阅读全文

posted @ 2017-09-12 17:46 舟岩 阅读(264) 评论(0) 推荐(0) 编辑

导航