摘要: 继续熟悉kafka工作流程机制。 Mapreduce作业的生命周期: 1、 作业提交与初始化 2、 任务调度与监控 3、 任务运行环境准备 4、 任务执行 5、 任务完成 通常情况下,Hadoop会以队列为单位管理作业和资源,有了队列,就产生所谓三级调度模型,调度器依次选用一个队列,队列中的一个作业 阅读全文
posted @ 2016-06-14 15:36 沙特小王子 阅读(131) 评论(0) 推荐(0)
摘要: 这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结。 言归正传 阅读全文
posted @ 2016-03-28 19:30 沙特小王子 阅读(92) 评论(0) 推荐(0)