LZ名約山炮

离线数仓（九）

摘要：第9章数仓搭建-ADS层 9.1 建表说明 ADS层不涉及建模，建表根据具体需求而定 9.2 访客主题 9.2.1 访客统计 1.建表语句 drop table if exists ads_visit_stats; create external table ads_visit_stats( `d 阅读全文

posted @ 2021-06-27 19:47 LZ名約山炮阅读(244) 评论(0) 推荐(0)

自定义UDAF函数

摘要：一、自定义UDAF思路及步骤 1）打开Hive官网：https://cwiki.apache.org/confluence/display/Hive 2）打开Idea，新建一个Maven工程，并添加Hive依赖 <!-- https://mvnrepository.com/artifact/org. 阅读全文

posted @ 2021-06-27 15:45 LZ名約山炮阅读(708) 评论(0) 推荐(0)

离线数仓（八）

摘要：第1章 Azkaban概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统阅读全文

posted @ 2021-06-25 18:15 LZ名約山炮阅读(237) 评论(0) 推荐(0)

离线数仓（七）

摘要：第8章数仓搭建-DWT层 8.1 访客主题 1）建表语句 drop table if exists dwt_visitor_topic; create external table dwt_visitor_topic( --dws_visitor_action_daycount `mid_id` 阅读全文

posted @ 2021-06-24 21:52 LZ名約山炮阅读(155) 评论(0) 推荐(0)

离线数仓（六）

摘要：第7章数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 1）基本语法： NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和阅读全文

posted @ 2021-06-18 14:51 LZ名約山炮阅读(216) 评论(0) 推荐(0)

离线数仓（五）

摘要：第6章数仓搭建-DWD层 1）对用户行为数据解析。 2）对业务数据采用维度模型重新建模。 6.1 DWD层（用户行为日志） 6.1.1 日志格式回顾（1）页面埋点日志（2）启动日志 6.1.2 get_json_object函数使用 1）数据 [{"name":"大郎","sex":"男"," 阅读全文

posted @ 2021-06-15 08:32 LZ名約山炮阅读(238) 评论(0) 推荐(0)

离线数仓（四）

摘要：第5章数仓搭建-DIM层 5.1 商品维度表（全量） 1.建表语句 drop table if exists `dim_sku_info`; create external table dim_sku_info ( --来自ods_sku_info `id` string comment '商品i 阅读全文

posted @ 2021-06-11 14:13 LZ名約山炮阅读(309) 评论(0) 推荐(0)

Scala（二）--变量与数据类型

摘要： 2.1 注释用于注解说明解释程序的文字就是注释，注释提高了代码的阅读性。注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现。 1）基本语法（1）单行注释：// （2）多行注释：/* */ （3）文档注释：/** */ 2）案例实操 package com.y 阅读全文

posted @ 2021-06-10 22:36 LZ名約山炮阅读(137) 评论(0) 推荐(0)

使用Hive运行Job程序报GC错误

摘要：不多bb，直接开干，错误如下： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. GC overhead limit exceeded AsyncLogger error handl 阅读全文

posted @ 2021-06-10 11:32 LZ名約山炮阅读(709) 评论(0) 推荐(0)

离线数仓（三）

摘要：第3章数仓环境搭建 3.1 Hive环境搭建 3.1.1 Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hi 阅读全文

posted @ 2021-06-09 21:23 LZ名約山炮阅读(450) 评论(0) 推荐(0)

公告