随笔分类 -  Umeng

摘要:## 自定义日期时间函数### 1、介绍日期是在统计过程期间经常涉及的一个维度,但计算有偏复杂。 阅读全文
posted @ 2018-08-31 13:51 大道至简(老徐) 阅读(330) 评论(0) 推荐(0)
摘要:## 统计指标### 1、概述统计指标主要是统计设备数,因此所谓的用户活跃数也是指设备来讲的。### 2、主要统计指标- 新增用户数 首次安装打开应用的设备,卸载再安装不是新增。日新增、周新增、月新增,需要全表扫描,周和月可以通过日新增累加求得。 - 日新增用户 [stat_new_day.sql] ```mysql -- 日新增用户 select t2.* ... 阅读全文
posted @ 2018-08-31 13:32 大道至简(老徐) 阅读(711) 评论(0) 推荐(0)
摘要:## 脚本化加载文件与转储### 1、加载数据到原生表#### 1.1 介绍由于每天都会产生大量的日志数据,需要对每天的日志进行加载与清洗以及转储,编写脚本文件后,通过azkaban进行调度即可。#### 1.2 编写load_data_to_hive_raw_logs.sql加载数据到hive原生表,注意使用的动态分区,每天只加载前一天的数据。其中#号部分是需要替换成具体的时间值。```sql-... 阅读全文
posted @ 2018-08-31 13:30 大道至简(老徐) 阅读(254) 评论(0) 推荐(0)