TryMyBest! - 博客园

2019年12月

摘要： 1.应用层建内部表，数仓表用外部表 2.存储格式一般选orcfile，除非需要直接load数据的表则选textfile 3.建表时要指定库名 hive的建表样例 create table if not exists 表名( 字段名字段类型 comment'字段描述' 。。。。。。。。。。。。。。。阅读全文

posted @ 2019-12-13 17:40 TryMyBest! 阅读(297) 评论(0) 推荐(0)

表命名规范

摘要： 1.接口层：st+业务表名 2.明细层：f_evt或f_agt或f_his或维表命名f_dim 3.轻度汇总层：a_evt或a_agt或a_his 4.数据集市层也称宽表层：dm 5.应用报表层：rpt 阅读全文

posted @ 2019-12-13 17:29 TryMyBest! 阅读(1488) 评论(0) 推荐(0)

字段命名规范

摘要： 1.禁止使用驼峰式命名，禁止使用特殊符号和中文 2.字段全部使用小写字母，禁止出现大写字母 3.所有字段需填写中文描述信息 4.禁止使用关键字命名 5.字段名称一般使用名词或动宾短语 6.字段不宜过长字段描述规范 1.字段有枚举值，要全部写出来。并且用“-”区分原始值和实际字段的含义 2.如果枚举阅读全文

posted @ 2019-12-13 17:06 TryMyBest! 阅读(2148) 评论(0) 推荐(0)

报表开发流程

摘要： 1.需求理解：理解报表需求，明确维度和指标以及应用价值。 2.数据理解：将业务需求对应到数仓表或者埋点。明确统计口径。 3.脚本开发 4.验证数据准确性 5.脚本发布 6.innereye报表开发：明确报表样式以及筛选条件。确保数据准确性。 7.正式商用：配置oflow调度。自动按时调度脚本。阅读全文

posted @ 2019-12-13 16:53 TryMyBest! 阅读(954) 评论(0) 推荐(0)

2019年11月

取最后的分区

摘要： function GetLastestPartition(){ GetLastestPartition_tablename='表名'ExecuteHQL "show partitions ${GetLastestPartition_tablename}" | tail -n 1 | cut -d'= 阅读全文

posted @ 2019-11-26 16:26 TryMyBest! 阅读(167) 评论(0) 推荐(0)

hive性能优化

摘要：矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。可以通过设置 Error: Error while processing statement: FAILED: Execution Error, 阅读全文

posted @ 2019-11-19 15:59 TryMyBest! 阅读(304) 评论(0) 推荐(0)

设置动态分区

摘要： set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.model=nonstrict; 阅读全文

posted @ 2019-11-15 16:12 TryMyBest! 阅读(198) 评论(0) 推荐(0)

如何查看定时任务

摘要： crontab -l | grep 任务名阅读全文

posted @ 2019-11-15 10:39 TryMyBest! 阅读(868) 评论(0) 推荐(0)

修改表结构，添加字段时。需要加上参数cascade

摘要： ALTER TABLE 表名 ADD COLUMNS(字段名 STRING comment '') cascade; 阅读全文

posted @ 2019-11-14 10:16 TryMyBest! 阅读(730) 评论(0) 推荐(0)

查看定时任务中包含的字符

摘要： crontab -l | grep 字符串，不用引号阅读全文

posted @ 2019-11-11 20:38 TryMyBest! 阅读(173) 评论(0) 推荐(0)

公告