---江北

摘要： 一、起步 引入依赖： 当然，一般可能项目中不会需要单独引入这个依赖，可能其他依赖自动引入了此包，请先检查，避免重复引入！ 二、开始 文档：http://commons.apache.org/proper/commons-beanutils/javadocs/v1.9.3/apidocs/org/ap 阅读全文

摘要： 一、本地模式调试MR程序 1.准备 参考之前随笔的windows开发说明处：http://www.cnblogs.com/jiangbei/p/8366238.html 2.流程 最重要的是设置LocalJobRunner这个参数，这样mapreduce就变成一个线程在跑了！ 而处理的数据及输出结果 阅读全文

摘要： 1/mr的combiner 2/mr的排序 3/mr的shuffle 4/mr与yarn 5/mr运行模式 6/mr实现join 7/mr全局图 8/mr的压缩 今日提纲 一、流量汇总排序的实现 1.需求 对日志数据中的上下行流量信息汇总，并输出按照总流量倒序排序的结果 2.分析 基本思路：实现自定 阅读全文

摘要： 1.大数据概念 关键是4V：海量（数据量打）、快速（处理速度快）、多样（数据多样化）、价值（价值密度低，商业价值高） 2.大数据关键技术 两大核心技术： 计算模式： mapreduce等的批处理无法完成高效处理（没有秒级响应） stom等的流计算针对的是秒级响应的处理 Hive等的交互式实时响应 3 阅读全文

摘要： 一、mapTask并行度的决定机制 1.概述 一个job的map阶段并行度由客户端在提交job时决定 而客户端对map阶段并行度的规划的基本逻辑为： 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个mapTask并行实例处理 这 阅读全文

摘要： 一、概述 1.map-reduce是什么 Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terabyte data- 阅读全文

摘要： 本文转载自xingoo： https://www.cnblogs.com/xing901022/p/5978989.html 一、常用静态变量 二、常用方法 copy 这个方法可以拷贝流，算是这个工具类中使用最多的方法了。支持多种数据间的拷贝: copy内部使用的其实还是copyLarge方法。因为 阅读全文

摘要： 一、概述 1.HDFS中的角色 Block数据： HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M 基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时 阅读全文

摘要： 一、Hadoop Shell命令 既然有官方文档，那当然先找到官方文档的参考：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html 对于3种命令的区别： 以下内容参考自 阅读全文

摘要： 一、概述 根据之前的凡技术必登其官网的原则，我们当然先得找到它的官网：http://hadoop.apache.org/ 1.什么是hadoop 先看官网介绍： The Apache™ Hadoop® project develops open-source software for reliabl 阅读全文