全局视角数据流向图的数据治理ing


通过解析一个sql得到一个树形图,得到字段和表的血缘关系,还有计算逻辑。
将所有的树形图连接起来。
可以绘制如下:
1.查看一个应用指标的整体血缘和计算逻辑。从ods到最后。<单个查看>
2.查看一个范围内所有字段的血缘和计算逻辑,如按表查看每个字段的链路,是否链路规范。如查看某一群相似指标的链路,是否存在口径冲突等 <范围查看>
3.对比不同的相似字段,将字段逻辑标出。快速得到口径不一致的原因 <对比>
4.将不同的sql拼接起来,展现所有字段的血缘和计算逻辑。从全局视角治理指标,而不是局部治理。 <治理>


从全局治理角度,我们可以实现以下功能:
1.筛选不合理的数据链路。如dwp直接依赖ods,dwd等。可以量化当前比较规范运行的域和不规范的域。
2.配合其他元数据使用,如使用次数,创建时间,可以筛选出没有按照规范链路开发的数据。
3.筛选出重复项过多的逻辑。某条计算逻辑出现次数过多,存在口径不一致的风险,人工判断是否沉淀到公共层。还能进一步减少重复计算带来的成本。

4.其他待定功能

posted @ 2021-07-30 17:50  肥仔佳文猪  阅读(166)  评论(0)    收藏  举报