随笔分类 -  hadoop

hadoop spark 总结
摘要：yarn 由,资源管理器rm，应用管理器am appMaster，节点管理器nm 组成！ 图侵删 yarn 的设计，是为了代替hadoop 1.x的jobtracker 集中式一对多的资源管理「资源管理，任务监控，任务调度」，而yarn是 分而治之 ，使全局资源管理器减轻压力。 rm 监控每一个ap 阅读全文
posted @ 2017-11-22 13:57 半块饼干 阅读(464) 评论(0) 推荐(0)
hadoop 安装问题总结
摘要：安装启动步骤 [英语好的，直接手把手跟着来] http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html 问题 Diagnostics 「诊断」 Container [pid=4 阅读全文
posted @ 2017-11-15 21:17 半块饼干 阅读(443) 评论(0) 推荐(0)