摘要： 一、自定义函数 ### 自定义函数 ~~~ 当 Hive 提供的内置函数无法满足实际的业务处理需要时，可以考虑使用用户自定义函数进行扩展。 ~~~ 用户自定义函数分为以下三类： ~~~ UDF（User Defined Function）。用户自定义函数，一进一出 ~~~ UDAF（User Def 阅读全文

摘要： 一、UDTF函数【重要】 ### UDTF函数【重要】 ~~~ # UDTF : ~~~ User Defined Table-Generating Functions。 ~~~ 用户定义表生成函数，一行输入，多行输出。 ### explode，炸裂函数 ~~~ 就是将一行中复杂的 array 或者 阅读全文

摘要： 一、窗口函数【重要】 ### 窗口函数 ~~~ 窗口函数又名开窗函数，属于分析函数的一种。 ~~~ 用于解决复杂报表统计需求的功能强大的函数，很多场景都需要用到。 ~~~ 窗口函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是： ~~~ 对于每个组返回多行，而聚合函数对于每个组只返回一行。 ~ 阅读全文

摘要： 一、系统内置函数 ~~~ [Hive函数之日期函数] ~~~ [Hive函数字符串函数及数学函数] ~~~ [Hive函数条件函数] ~~~ [Hive函数explode用法] ~~~ [Hive函数explode案例] ~~~ [Hive函数之窗口函数] ~~~ [Hive函数之windows子句 阅读全文

摘要： 一、group by子句 ### group by子句 ~~~ GROUP BY语句通常与聚组函数一起使用， ~~~ 按照一个或多个列对数据进行分组，对每个组进行聚合操作。 ~~~ # 计算emp表每个部门的平均工资 hive (mydb)> select deptno, avg(sal) from 阅读全文

摘要： 一、HQL操作之--DQL命令【重点】 ~~~ [Hive_DQL之简单查询] ~~~ [Hive_DQL之where子句] ~~~ [Hive_DQL之grouply子句] ~~~ [Hive_DQL之表连接] ~~~ [Hive_DQL之order by] ~~~ [Hive_DQL之sort 阅读全文

摘要： 一、分区表 ### 分区表 ~~~ Hive在执行查询时，一般会扫描整个表的数据。由于表的数据量大，全表扫描消耗时间长、效率低。 ~~~ 而有时候，查询只需要扫描表中的一部分数据即可，Hive引入了分区表的概念， ~~~ 将表的数据存储在不同的子目录中，每一个子目录对应一个分区。 ~~~ 只查询部分 阅读全文

摘要： 一、 数据导入 ~~~ [Hive数据库操作之load命令] ~~~ [Hive数据库操作之Insert命令] ~~~ [Hive数据库操作之数据导出] ### 装载数据(Load)：基本语法： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO 阅读全文

摘要： 一、内部表 & 外部表 ### 在创建表的时候，可指定表的类型。 ~~~ 表有两种类型，分别是内部表(管理表)、外部表。 ~~~ 默认情况下，创建内部表。如果要创建外部表，需要使用关键字 external ~~~ 在删除内部表时，表的定义(元数据) 和 数据 同时被删除 ~~~ 在删除外部表时，仅删 阅读全文

摘要： 一、HQL操作之 -- DDL命令 ~~~ [Hive_DDL数据库操作] ~~~ [Hive_DDL之建表语法] ~~~ [Hive_DDL之内部表和外部表] ~~~ [Hive_DDL之分区表] ~~~ [Hive_DDL之分桶表] ~~~ [Hive_DDL之修改表及删除表] ### HQL操 阅读全文

摘要： 一、Hive安装 ### 安装步骤： ~~~ 下载、上传、解压缩 ~~~ 修改环境变量 ~~~ 修改hive配置 ~~~ 拷贝JDBC的驱动程序 ~~~ 初始化元数据库 ### 下载Hive软件，并解压缩 [root@linux123 software]# pwd /opt/yanqi/softwa 阅读全文

摘要： 一、数据类型与文件格式 ~~~ [Hive数据类型之基本数据类型及转换] ~~~ [Hive数据类型之集合数据类型] ~~~ [Hive文本文件数据编码及读时模式] ### 数据类型与文件格式 ~~~ Hive支持关系型数据库的绝大多数基本数据类型，同时也支持4种集合数据类型。 ### 基本数据类型 阅读全文

摘要： 一、Hive概述 ~~~ [课程内容介绍及数据仓库工具Hive的产生背景] ~~~ [数仓工具Hive与RDBMS对比] ~~~ [数仓工具Hive的优缺点] ~~~ [数仓工具Hive的架构原理] ### Hive概述 ~~~ HDFS => 海量数据的存储 ~~~ MapReduce => 海量 阅读全文

摘要： 一、Hive安装配置 ~~~ [安装mysql数据库] ~~~ [Hive的安装与配置] ~~~ [Hive安装的注意事项] ~~~ [Hive参数配置和命令] ### 环境准备 ~~~ Hive官网：http://hive.apache.org ~~~ 下载网址：http://archive.ap 阅读全文

摘要： 附录一：报错处理一： ~~~ [sqoop创建job缺省java-json.jar]——NoClassDefFoundError: org/json/JSONObject ~~~ [sqoop创建job的password文件格式错误]——java.sql.SQLException ### 报错现象： 阅读全文

摘要： 一、centos7.x自带的Python版本为2.7.5 ### 查看Python版本 [root@linux122 ~]# python --version Python 2.7.5 二、升级Python版本 ### 下载并升级Python ~~~ # 下载最新版本的python包: [root@ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Hadoop二次开发环境搭建 ### 系统环境 ~~~ 系统：linux122： CentOS-7_x86_64 protobuf: protoc-2.5.0 maven： maven-3.6.0 hadoop: hadoop-2.9.2 java： jdk1.8.0_231 cmake: cm 阅读全文

摘要： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Namenode Full GC ~~~ [NamenodeFullGC-FullGC的影响] ~~~ [NamenodeFullGC-FullGC的日志分析] 二、JVM堆内存 ### JVM堆内存 ~~~ JVM内存划分为堆内存和非堆内存，堆内存分为年轻代（Young Generation） 阅读全文

摘要： 一、Shuffle调优 ~~~ [MR调优-shuffle调优-Map端调优] ~~~ [MR调优-shuffle调优-Combiner] ~~~ [MR调优-shuffle调优-Reduce端调优] ### Shuffle调优 ~~~ Shuffle阶段是MapReduce性能的关键部分， ~~~ 阅读全文

摘要： 一、Job调优 ~~~ [MR调优-shuffle调优-推测执行-小文件优化] ~~~ [MR调优-shuffle调优-数据倾斜] ### 推测执行 ~~~ 集群规模很大时（几百上千台节点的集群），个别机器出现软硬件故障的概率就变大了， ~~~ 并且会因此延长整个任务的执行时间推测执行通过将一个ta 阅读全文

摘要： 一、YARN调优 ### NM配置 ~~~ 可用内存 ~~~ 刨除分配给操作系统、其他服务的内存外，剩余的资源应尽量分配给YARN。 ~~~ 默认情况下，Map或Reduce container会使用1个虚拟CPU内核和1024MB内存， ~~~ ApplicationMaster使用1536MB内 阅读全文

摘要： 一、[MR调优-Job执行的三原则]： ### Job执行三原则 ~~~ 充分利用集群资源 ~~~ reduce阶段尽量放在一轮 ~~~ 每个task的执行时间要合理 ### 原则一 充分利用集群资源 ~~~ Job运行时，尽量让所有的节点都有任务处理，这样能尽量保证集群资源被充分利用， ~~~ 任 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、扩展Hadoop3.x新特性概述 ### Hadoop3.x ~~~ Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使用jdk1.7， ~~~ 要求jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的， ~~~ 而JDK 1.7在2015年4月已停止 阅读全文

摘要： 一、源码剖析之NameNode如何支持高并发访问:双缓冲机制：NameNode如何支撑高并发访问(双缓冲机制) ### 高并发访问NameNode会遇到什么样的问题： ~~~ 经过学习HDFS的元数据管理机制， ~~~ Client每次请求NameNode修改一条元数据（比如说申请上传一个文件， ~ 阅读全文

摘要： 一、[源码剖析之NameNode启动流程]：Apache Hadoop 核心源码剖析 ### 下载Apache Hadoop-2.9.2官方源码：https://hadoop.apache.org/releases.html ——> Source Deownload：源码 ——> Binary do 阅读全文

摘要： 一、[源码剖析之DataNode启动流程] ：DataNode 启动流程 ### datanode的Main Class是DataNode，先找到DataNode.main() public class DataNode extends ReconfigurableBase implements I 阅读全文

摘要： 一、[Yarn资源调度之多租户的资源隔离配置] ### Yarn多租户资源隔离配置 ~~~ Yarn集群资源设置为A,B两个队列， ~~~ A队列设置占用资源70%主要用来运行常规的定时任务， ~~~ B队列设置占用资源30%主要运行临时任务， ~~~ 两个队列间可相互资源共享，假如A队列资源占满， 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、[Yarn资源调度之架构原理/工作机制及调度策略]：Yarn架构 ### Yarn架构 ~~~ ResourceManager(rm)：处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度； ~~~ NodeManager(nm)：单个节点上的 阅读全文

摘要： 一、[MR算法扩展之MergeSort归并排序][MR算法扩展之QuickSort快速排序]：Mergesort归并排序 二、合并 三、合并细节 ### 不断地将当前序列平均分割成 2个子序列 ~~~ 直到不能再分割（序列中只剩 1个元素） ### 不断地将 2个子序列合并成一个有序序列 ~~~ 直 阅读全文

摘要： 一、分区排序多目录输出 ### Mapper package com.yanqi.mr.comment.step2; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.io.BytesWritable; imp 阅读全文

摘要： 一、程序调优 ### 预合并CombineMapper package com.yanqi.mr.comment.step3; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; im 阅读全文

摘要： 一、MapReduce综合案例：MR综合案例 ### 需求 ~~~ 现在有一些订单的评论数据，需求，将订单按照好评与差评区分开来， ~~~ 将数据输出到不同的文件目录下，数据内容如下，其中数据第九个字段表示好评， ~~~ 中评，差评。0：好评，1：中评，2：差评。 ~~~ 现需要根据好评，中评，差评 阅读全文

摘要： 一、shuffle阶段数据的压缩机制 ### Hadoop当中支持的额压缩算法 ~~~ 数据压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输！！ ~~~ 我们可以使用bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩， ~~~ 如果出现openss 阅读全文

摘要： 一、[InputFormat机制之自定义InputFormat] ### 自定义InputFormat ~~~ HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景， ~~~ 此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。 ## 阅读全文

摘要： 一、[InputFormat机制之自定义outputFormat]：OutputFormat ### OutputFormat ~~~ OutputFormat:是MapReduce输出数据的基类， ~~~ 所有MapReduce的数据输出都实现了OutputFormat抽象类。 ~~~ 下面我们介 阅读全文