数据中台解析Hive SQL过程
摘要:一、数据中台解析SQL的目的: 数据中台需要对外提供数据特征查询的能力,因此中台查找并解析各个平台的sql,找出哪些表中的字段经常被使用,以便沉淀为特征,而我们要做的是找出sql中的数据表及其字段。以海象平台调度任务中的Hive SQL为例,看一下处理一个hive SQL都需要做什么。 二、预处理:
阅读全文
posted @ 2019-03-18 21:39
posted @ 2019-03-18 21:39