摘要：
最近一直在分析hadoop的RPC机制。在hadoop中，DataNode和NameNode之间的控制信息的交流是通过RPC机制完成的，采用的是动态代理和java NIO(参考博客：http://www.cnblogs.com/sh425/p/6893501.html ) 的方式。DataNode端 阅读全文
posted @ 2017-05-23 13:19 Aaron-Mhs 阅读(462) 评论(0) 推荐(0)
摘要：
正文： 一．体系背景 首先和大家说明一下：hadoop的心跳机制的底层是通过RPC机制实现的，这篇文章我只介绍心跳实现的代码，对于底层的具体实现，大家可以参考我的另几篇博客：1. hadoop的RPC机制（参考：http://www.cnblogs.com/sh425/p/6893491.html 阅读全文
posted @ 2017-05-23 12:28 Aaron-Mhs 阅读(1906) 评论(0) 推荐(0)
摘要：
IOC(inversion of control)的中文解释是“控制反转”或者“依赖注入”，它的实现目的是：我们可以通过配置文件来控制程序的流程，达到程序代码的优化。初学者往往弄不清楚为什么我们可以通过“控制反转”或“依赖注入”来优化我们的代码。今天我想借这个机会说说我对IOC程序设计原则的认识，以 阅读全文
posted @ 2017-05-23 12:20 Aaron-Mhs 阅读(324) 评论(0) 推荐(0)
摘要：
前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ，远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。可以参考：http://baike.baidu.com/view/32726.htm ）机制时，发现h 阅读全文
posted @ 2017-05-23 12:16 Aaron-Mhs 阅读(499) 评论(0) 推荐(0)
摘要：
分析对象： hadoop版本：hadoop 0.20.203.0必备技术点： 1. 动态代理（参考 ：http://www.cnblogs.com/sh425/p/6893662.html ）2. Java NIO（参考 ：http://www.cnblogs.com/sh425/p/6893501 阅读全文
posted @ 2017-05-23 12:13 Aaron-Mhs 阅读(417) 评论(0) 推荐(0)
摘要：
我们一起来了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 这个图中核心的组件是： Source，ChannelProcessor，Channel，Sink。他们的关系结构如下： Source { ChannelProcessor { Channel ch1 Chan 阅读全文
posted @ 2017-05-23 12:05 Aaron-Mhs 阅读(732) 评论(0) 推荐(0)
摘要：
前言 数据倾斜调优 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两 阅读全文
posted @ 2017-05-23 12:01 Aaron-Mhs 阅读(343) 评论(0) 推荐(0)
摘要：
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 阅读全文
posted @ 2017-05-23 12:00 Aaron-Mhs 阅读(427) 评论(0) 推荐(0)
浙公网安备 33010602011771号