2014年8月17日
摘要：
上一节分析到了JobTracker把作业从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker... 阅读全文
摘要：
1 安装环境1.1 客户端1.2 服务端1.3 安装准备 2 操作系统安装2.1.1 BIOS打开虚拟化支持2.1.2 关闭防火墙2.1.3 安装VNC3 JAVA安装 3.1 配置目的3.2 配置过程3.3 结果验证4 主机名配置4.1 配置目的4.2 配置过程4.3 结果验证5 增加hadoop... 阅读全文
摘要：
从公开介绍来看，ProtocolBuffer(PB)是google 的一种数据交换的格式，它独立于语言，独立于平台。作为一个学了多年通信的人，ProtocolBuffer在我看来是一种信源编码。所谓信源编码，就是将待传输的信源符号经过某种变换，转换成码流进行传输的这个变换过程。信源编码可分为两类：有... 阅读全文
摘要：
上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr... 阅读全文
摘要：
上一节以WordCount分析了MapReduce的基本执行流程，但并没有从框架上进行分析，这一部分工作在后续慢慢补充。这一节，先剖析一下作业提交过程。在分析之前，我们先进行一下粗略的思考，如果要我们自己设计分布式计算，应该怎么设计呢？假定有100个任务要并发执行，每个任务分别针对一块数据，这些数据... 阅读全文