摘要：
IOC(inversion of control)的中文解释是“控制反转”或者“依赖注入”，它的实现目的是：我们可以通过配置文件来控制程序的流程，达到程序代码的优化。初学者往往弄不清楚为什么我们可以通过“控制反转”或“依赖注入”来优化我们的代码。今天我想借这个机会说说我对IOC程序设计原则的认识，以 阅读全文
posted @ 2017-05-23 12:20 Aaron-Mhs 阅读(349) 评论(0) 推荐(0)
摘要：
前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ，远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。可以参考：http://baike.baidu.com/view/32726.htm ）机制时，发现h 阅读全文
posted @ 2017-05-23 12:16 Aaron-Mhs 阅读(542) 评论(0) 推荐(0)
摘要：
分析对象： hadoop版本：hadoop 0.20.203.0必备技术点： 1. 动态代理（参考 ：http://www.cnblogs.com/sh425/p/6893662.html ）2. Java NIO（参考 ：http://www.cnblogs.com/sh425/p/6893501 阅读全文
posted @ 2017-05-23 12:13 Aaron-Mhs 阅读(441) 评论(0) 推荐(0)
摘要：
我们一起来了解Source、Channel和Sink的全链路过程。 一、Flume架构分析 这个图中核心的组件是： Source，ChannelProcessor，Channel，Sink。他们的关系结构如下： Source { ChannelProcessor { Channel ch1 Chan 阅读全文
posted @ 2017-05-23 12:05 Aaron-Mhs 阅读(776) 评论(0) 推荐(0)
摘要：
前言 数据倾斜调优 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两 阅读全文
posted @ 2017-05-23 12:01 Aaron-Mhs 阅读(373) 评论(0) 推荐(0)
摘要：
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 阅读全文
posted @ 2017-05-23 12:00 Aaron-Mhs 阅读(462) 评论(0) 推荐(0)
摘要：
本文主要阅读目录如下： 1、简介Kettle的Kitchen和Span 2、命令行调度任务配置方式 3、后台进程配置运行方式 4、Windows任务设置 5、Demo下载 1、简介Kettle的Kitchen和Span 前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以 阅读全文
posted @ 2017-05-16 10:24 Aaron-Mhs 阅读(679) 评论(0) 推荐(0)
摘要：
本文主要阅读目录如下： 1、应用场景 2、DEMO实战 3、DEMO下载 1、应用场景 这里简单概括一下几种具体的应用场景，按网络环境划分主要包括： 表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交互、数据对称发 阅读全文
posted @ 2017-05-16 10:23 Aaron-Mhs 阅读(357) 评论(0) 推荐(0)
摘要：
本文主要阅读目录如下： 1、Kettle概念 2、下载和部署 3、Kettle环境配置 4、Kettle使用及组件介绍 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种et 阅读全文
posted @ 2017-05-16 10:21 Aaron-Mhs 阅读(462) 评论(0) 推荐(0)
摘要：
记录源码细节，内部有中文注释 Client 端： RM端: 阅读全文
posted @ 2017-04-27 16:10 Aaron-Mhs 阅读(1124) 评论(0) 推荐(0)
浙公网安备 33010602011771号