ZFYCH_Love

摘要： 上一篇介绍了一个job的提交过程。期间多次提到通信协议。那么协议是什么？ 协议其实就是通信的双方所遵守的一套规范，这套规范规定了通信时传输的数据的固定的格式。 4.1 RPC协议：在hadoop中，我们采用的是RPC协议。 该协议主要包含四个部分： 序列化层：协议中的参数采用Protocol Buf 阅读全文

摘要： 在MRv1中，各个模块间驱动运行的方式是函数调用的方式。这是同步的过程，上一模块调用下一模块函数后，等待其执行。效率不高。 在MRv2中做了改进，yarn基于事件驱动的并发模型。在详细介绍前，先看下图： 处理请求会作为事件进入系统，有中央异步调度器【AsyncDispatcher】传递给对应的事件调 阅读全文