上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 69 下一页

2022年4月7日

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Hive.V17|——|Hive.v17|Hive函数用法.v05|

摘要: 一、自定义函数 ### 自定义函数 ~~~ 当 Hive 提供的内置函数无法满足实际的业务处理需要时,可以考虑使用用户自定义函数进行扩展。 ~~~ 用户自定义函数分为以下三类: ~~~ UDF(User Defined Function)。用户自定义函数,一进一出 ~~~ UDAF(User Def 阅读全文

posted @ 2022-04-07 14:35 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&Hive.V14|——|Hive.v14|Hive函数用法.v02|

摘要: 一、UDTF函数【重要】 ### UDTF函数【重要】 ~~~ # UDTF : ~~~ User Defined Table-Generating Functions。 ~~~ 用户定义表生成函数,一行输入,多行输出。 ### explode,炸裂函数 ~~~ 就是将一行中复杂的 array 或者 阅读全文

posted @ 2022-04-07 14:34 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Hive.V15|——|Hive.v15|Hive函数用法.v03|

摘要: 一、窗口函数【重要】 ### 窗口函数 ~~~ 窗口函数又名开窗函数,属于分析函数的一种。 ~~~ 用于解决复杂报表统计需求的功能强大的函数,很多场景都需要用到。 ~~~ 窗口函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是: ~~~ 对于每个组返回多行,而聚合函数对于每个组只返回一行。 ~ 阅读全文

posted @ 2022-04-07 14:34 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Hive.V13|——|Hive.v13|Hive函数用法.v01|

摘要: 一、系统内置函数 ~~~ [Hive函数之日期函数] ~~~ [Hive函数字符串函数及数学函数] ~~~ [Hive函数条件函数] ~~~ [Hive函数explode用法] ~~~ [Hive函数explode案例] ~~~ [Hive函数之窗口函数] ~~~ [Hive函数之windows子句 阅读全文

posted @ 2022-04-07 14:33 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Hive.V12|——|Hive.v12|Hive_DQL之查询.v02|

摘要: 一、group by子句 ### group by子句 ~~~ GROUP BY语句通常与聚组函数一起使用, ~~~ 按照一个或多个列对数据进行分组,对每个组进行聚合操作。 ~~~ # 计算emp表每个部门的平均工资 hive (mydb)> select deptno, avg(sal) from 阅读全文

posted @ 2022-04-07 14:32 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Hive.V11|——|Hive.v11|Hive_DQL之查询.v01|

摘要: 一、HQL操作之--DQL命令【重点】 ~~~ [Hive_DQL之简单查询] ~~~ [Hive_DQL之where子句] ~~~ [Hive_DQL之grouply子句] ~~~ [Hive_DQL之表连接] ~~~ [Hive_DQL之order by] ~~~ [Hive_DQL之sort 阅读全文

posted @ 2022-04-07 14:31 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Hive.V09|——|Hive.v09|Hive_DDL数据库操作.v03|

摘要: 一、分区表 ### 分区表 ~~~ Hive在执行查询时,一般会扫描整个表的数据。由于表的数据量大,全表扫描消耗时间长、效率低。 ~~~ 而有时候,查询只需要扫描表中的一部分数据即可,Hive引入了分区表的概念, ~~~ 将表的数据存储在不同的子目录中,每一个子目录对应一个分区。 ~~~ 只查询部分 阅读全文

posted @ 2022-04-07 14:31 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Hive.V10|——|Hive.v10|Hive数据库操作|load命令|

摘要: 一、 数据导入 ~~~ [Hive数据库操作之load命令] ~~~ [Hive数据库操作之Insert命令] ~~~ [Hive数据库操作之数据导出] ### 装载数据(Load):基本语法: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO 阅读全文

posted @ 2022-04-07 14:31 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Hive.V08|——|Hive.v08|Hive_DDL数据库操作.v02|

摘要: 一、内部表 & 外部表 ### 在创建表的时候,可指定表的类型。 ~~~ 表有两种类型,分别是内部表(管理表)、外部表。 ~~~ 默认情况下,创建内部表。如果要创建外部表,需要使用关键字 external ~~~ 在删除内部表时,表的定义(元数据) 和 数据 同时被删除 ~~~ 在删除外部表时,仅删 阅读全文

posted @ 2022-04-07 14:30 yanqi_vip 阅读(54) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Hive.V07|——|Hive.v07|Hive_DDL数据库操作.v01|

摘要: 一、HQL操作之 -- DDL命令 ~~~ [Hive_DDL数据库操作] ~~~ [Hive_DDL之建表语法] ~~~ [Hive_DDL之内部表和外部表] ~~~ [Hive_DDL之分区表] ~~~ [Hive_DDL之分桶表] ~~~ [Hive_DDL之修改表及删除表] ### HQL操 阅读全文

posted @ 2022-04-07 14:29 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00005|——————————|^^ 部署 ^^|——|Hadoop&Hive.V05|——|Hive.v05|Hive部署配置.v02|

摘要: 一、Hive安装 ### 安装步骤: ~~~ 下载、上传、解压缩 ~~~ 修改环境变量 ~~~ 修改hive配置 ~~~ 拷贝JDBC的驱动程序 ~~~ 初始化元数据库 ### 下载Hive软件,并解压缩 [root@linux123 software]# pwd /opt/yanqi/softwa 阅读全文

posted @ 2022-04-07 14:28 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Hive.V06|——|Hive.v06|Hive数据类型转换|

摘要: 一、数据类型与文件格式 ~~~ [Hive数据类型之基本数据类型及转换] ~~~ [Hive数据类型之集合数据类型] ~~~ [Hive文本文件数据编码及读时模式] ### 数据类型与文件格式 ~~~ Hive支持关系型数据库的绝大多数基本数据类型,同时也支持4种集合数据类型。 ### 基本数据类型 阅读全文

posted @ 2022-04-07 14:28 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00003|——————————|BigDataEnd|——|Hadoop&Hive.V03|——|Hive.v03|课程大纲|数据仓库工具Hive|产生背景|

摘要: 一、Hive概述 ~~~ [课程内容介绍及数据仓库工具Hive的产生背景] ~~~ [数仓工具Hive与RDBMS对比] ~~~ [数仓工具Hive的优缺点] ~~~ [数仓工具Hive的架构原理] ### Hive概述 ~~~ HDFS => 海量数据的存储 ~~~ MapReduce => 海量 阅读全文

posted @ 2022-04-07 14:27 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&Hive.V04|——|Hive.v04|Hive部署配置.v01|

摘要: 一、Hive安装配置 ~~~ [安装mysql数据库] ~~~ [Hive的安装与配置] ~~~ [Hive安装的注意事项] ~~~ [Hive参数配置和命令] ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.ap 阅读全文

posted @ 2022-04-07 14:27 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00002|——————————|^^ 报错 ^^|——|Hadoop&Hive.V02|——|Hive.v02|sqoop创建job报错|缺省java-json.jar包|password文件格式错误|

摘要: 附录一:报错处理一: ~~~ [sqoop创建job缺省java-json.jar]——NoClassDefFoundError: org/json/JSONObject ~~~ [sqoop创建job的password文件格式错误]——java.sql.SQLException ### 报错现象: 阅读全文

posted @ 2022-04-07 14:26 yanqi_vip 阅读(61) 评论(0) 推荐(0)

|NO.Z.00001|——————————|^^ 部署 ^^|——|Hadoop&Hive.V01|——|Hive.v01|linux升级Python|python2.7.25~2.7.15|

摘要: 一、centos7.x自带的Python版本为2.7.5 ### 查看Python版本 [root@linux122 ~]# python --version Python 2.7.5 二、升级Python版本 ### 下载并升级Python ~~~ # 下载最新版本的python包: [root@ 阅读全文

posted @ 2022-04-07 14:25 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-07 14:25 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00064|——————————|^^ 部署 ^^|——|Hadoop&MapReduce.V35|——|Hadoop.v35||Hadoop二次开发环境|搭建示例|

摘要: 一、Hadoop二次开发环境搭建 ### 系统环境 ~~~ 系统:linux122: CentOS-7_x86_64 protobuf: protoc-2.5.0 maven: maven-3.6.0 hadoop: hadoop-2.9.2 java: jdk1.8.0_231 cmake: cm 阅读全文

posted @ 2022-04-07 14:24 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00065|——————————|BigDataEnd|——————————————————————————————————————

摘要: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life 阅读全文

posted @ 2022-04-07 14:24 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-07 14:24 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00063|——————————|BigDataEnd|——|Hadoop&MapReduce.V34|——|Hadoop.v34|NamenodeFullGC-FullGC的影响|日志分析|

摘要: 一、Namenode Full GC ~~~ [NamenodeFullGC-FullGC的影响] ~~~ [NamenodeFullGC-FullGC的日志分析] 二、JVM堆内存 ### JVM堆内存 ~~~ JVM内存划分为堆内存和非堆内存,堆内存分为年轻代(Young Generation) 阅读全文

posted @ 2022-04-07 14:23 yanqi_vip 阅读(110) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&MapReduce.V31|——|Hadoop.v31|调优及二次开发|MR调优-shuffle调优|

摘要: 一、Shuffle调优 ~~~ [MR调优-shuffle调优-Map端调优] ~~~ [MR调优-shuffle调优-Combiner] ~~~ [MR调优-shuffle调优-Reduce端调优] ### Shuffle调优 ~~~ Shuffle阶段是MapReduce性能的关键部分, ~~~ 阅读全文

posted @ 2022-04-07 14:22 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00061|——————————|BigDataEnd|——|Hadoop&MapReduce.V32|——|Hadoop.v32|MR调优-shuffle调优|小文件优化|数据倾斜|

摘要: 一、Job调优 ~~~ [MR调优-shuffle调优-推测执行-小文件优化] ~~~ [MR调优-shuffle调优-数据倾斜] ### 推测执行 ~~~ 集群规模很大时(几百上千台节点的集群),个别机器出现软硬件故障的概率就变大了, ~~~ 并且会因此延长整个任务的执行时间推测执行通过将一个ta 阅读全文

posted @ 2022-04-07 14:22 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00062|——————————|BigDataEnd|——|Hadoop&MapReduce.V33|——|Hadoop.v33|调优及二次开发|YARN调优|

摘要: 一、YARN调优 ### NM配置 ~~~ 可用内存 ~~~ 刨除分配给操作系统、其他服务的内存外,剩余的资源应尽量分配给YARN。 ~~~ 默认情况下,Map或Reduce container会使用1个虚拟CPU内核和1024MB内存, ~~~ ApplicationMaster使用1536MB内 阅读全文

posted @ 2022-04-07 14:22 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&MapReduce.V30|——|Hadoop.v30|调优及二次开发|MR调优-Job执行的三原则|

摘要: 一、[MR调优-Job执行的三原则]: ### Job执行三原则 ~~~ 充分利用集群资源 ~~~ reduce阶段尽量放在一轮 ~~~ 每个task的执行时间要合理 ### 原则一 充分利用集群资源 ~~~ Job运行时,尽量让所有的节点都有任务处理,这样能尽量保证集群资源被充分利用, ~~~ 任 阅读全文

posted @ 2022-04-07 14:21 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-07 14:20 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&MapReduce.V29|——|Hadoop.v29|Hadoop3.x新特性|

摘要: 一、扩展Hadoop3.x新特性概述 ### Hadoop3.x ~~~ Hadoop3.x中增强了很多特性,在Hadoop3.x中,不再允许使用jdk1.7, ~~~ 要求jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的, ~~~ 而JDK 1.7在2015年4月已停止 阅读全文

posted @ 2022-04-07 14:19 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&MapReduce.V28|——|Hadoop.v28|源码剖析|NameNode如何支持高并发访问|双缓冲机制|

摘要: 一、源码剖析之NameNode如何支持高并发访问:双缓冲机制:NameNode如何支撑高并发访问(双缓冲机制) ### 高并发访问NameNode会遇到什么样的问题: ~~~ 经过学习HDFS的元数据管理机制, ~~~ Client每次请求NameNode修改一条元数据(比如说申请上传一个文件, ~ 阅读全文

posted @ 2022-04-07 14:19 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&MapReduce.V26|——|Hadoop.v26|源码剖析|NameNode启动流程|

摘要: 一、[源码剖析之NameNode启动流程]:Apache Hadoop 核心源码剖析 ### 下载Apache Hadoop-2.9.2官方源码:https://hadoop.apache.org/releases.html ——> Source Deownload:源码 ——> Binary do 阅读全文

posted @ 2022-04-07 14:18 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&MapReduce.V27|——|Hadoop.v27|源码剖析|DataNode启动流程|

摘要: 一、[源码剖析之DataNode启动流程] :DataNode 启动流程 ### datanode的Main Class是DataNode,先找到DataNode.main() public class DataNode extends ReconfigurableBase implements I 阅读全文

posted @ 2022-04-07 14:18 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&MapReduce.V25|——|Hadoop.v25|Yarn资源调度|多租户|资源隔离配置|

摘要: 一、[Yarn资源调度之多租户的资源隔离配置] ### Yarn多租户资源隔离配置 ~~~ Yarn集群资源设置为A,B两个队列, ~~~ A队列设置占用资源70%主要用来运行常规的定时任务, ~~~ B队列设置占用资源30%主要运行临时任务, ~~~ 两个队列间可相互资源共享,假如A队列资源占满, 阅读全文

posted @ 2022-04-07 14:17 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&MapReduce.V24|——|Hadoop.v24|Yarn资源调度|架构原理|工作机制|调度策略|

摘要: 一、[Yarn资源调度之架构原理/工作机制及调度策略]:Yarn架构 ### Yarn架构 ~~~ ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度; ~~~ NodeManager(nm):单个节点上的 阅读全文

posted @ 2022-04-07 14:16 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-07 14:16 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&MapReduce.V23|——|Hadoop.v23|MR算法扩展|MergeSort归并排序|QuickSort快速排序|

摘要: 一、[MR算法扩展之MergeSort归并排序][MR算法扩展之QuickSort快速排序]:Mergesort归并排序 二、合并 三、合并细节 ### 不断地将当前序列平均分割成 2个子序列 ~~~ 直到不能再分割(序列中只剩 1个元素) ### 不断地将 2个子序列合并成一个有序序列 ~~~ 直 阅读全文

posted @ 2022-04-07 14:15 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&MapReduce.V21|——|Hadoop.v21|MapReduce综合案例.v02|

摘要: 一、分区排序多目录输出 ### Mapper package com.yanqi.mr.comment.step2; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.io.BytesWritable; imp 阅读全文

posted @ 2022-04-07 14:14 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&MapReduce.V22|——|Hadoop.v22|MapReduce综合案例.v03|

摘要: 一、程序调优 ### 预合并CombineMapper package com.yanqi.mr.comment.step3; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; im 阅读全文

posted @ 2022-04-07 14:14 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&MapReduce.V20|——|Hadoop.v20|MapReduce综合案例.v01|

摘要: 一、MapReduce综合案例:MR综合案例 ### 需求 ~~~ 现在有一些订单的评论数据,需求,将订单按照好评与差评区分开来, ~~~ 将数据输出到不同的文件目录下,数据内容如下,其中数据第九个字段表示好评, ~~~ 中评,差评。0:好评,1:中评,2:差评。 ~~~ 现需要根据好评,中评,差评 阅读全文

posted @ 2022-04-07 14:13 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&MapReduce.V19|——|Hadoop.v19|MapReduce数据压缩机制|

摘要: 一、shuffle阶段数据的压缩机制 ### Hadoop当中支持的额压缩算法 ~~~ 数据压缩有两大好处,节约磁盘空间,加速数据在网络和磁盘上的传输!! ~~~ 我们可以使用bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩, ~~~ 如果出现openss 阅读全文

posted @ 2022-04-07 14:13 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&MapReduce.V17|——|Hadoop.v17|InputFormat机制|自定义InputFormat|

摘要: 一、[InputFormat机制之自定义InputFormat] ### 自定义InputFormat ~~~ HDFS还是MapReduce,在处理小文件时效率都非常低,但又难免面临处理大量小文件的场景, ~~~ 此时,就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。 ## 阅读全文

posted @ 2022-04-07 14:12 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&MapReduce.V18|——|Hadoop.v18|InputFormat机制|自定义outputFormat|

摘要: 一、[InputFormat机制之自定义outputFormat]:OutputFormat ### OutputFormat ~~~ OutputFormat:是MapReduce输出数据的基类, ~~~ 所有MapReduce的数据输出都实现了OutputFormat抽象类。 ~~~ 下面我们介 阅读全文

posted @ 2022-04-07 14:12 yanqi_vip 阅读(10) 评论(0) 推荐(0)

上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 69 下一页

导航