2020年1月31日

数据质量

摘要： 数据质量:1/ 数据质量控制环节2/ 元数据管理 数据质量包括:数据的完整性 数据自成体系、无数据缺失（包括实体记录缺失、字段信息缺失）数据一致性： 在整个数仓中，同一数据各主题、层次数据一致正确性： 在数仓各部分、确保数据不失真及时性： 整个数仓处理过程中，数据及时到位、及时反馈 数据质量的控制不 阅读全文

posted @ 2020-01-31 12:52 锋锋2019 阅读(884) 评论(0) 推荐(0)

数据追溯

摘要： 数据追溯: 数仓需要追溯,就是看以前的历史变化,比如一个月前的某一天的状态. 比如回溯2018-05-12--query ".....where updated_time>=2018-05-12 00:00:00" >stage.tmp_a#方法一,分区 每天保留一个快照.insert overwi 阅读全文

posted @ 2020-01-31 11:35 锋锋2019 阅读(590) 评论(0) 推荐(0)

导航