10.28

分享另外一个基于主动元数据的治理实践——数据回填。

在离线数据开发运营中，不管是新需求迭代，还是岗位变更，都会有数据重算的需求。目前的数据补录功能尚不完善，需要手工确认等大量系统外协调工作。例如，用户需要回溯 2023 年前的数据，研发人员就需要手动检查所依赖的上游甚至更上游的数据；确认完上游数据，需要进行数据回刷，完成后再通知下游。因此，整个过程是环环相扣的，需要很多人参与沟通和衔接，不仅耗时，且效率低、易出错。

同时，很多场景直接使用线上脚本进行回溯；当业务数据远小于维表时，例如业务表每天数据量级为千万级，而需要关联的维表（如商品表）则是百亿的量级；如果按天回溯，则需要关联这个商品表超过 300 次；而反复关联会浪费大量的资源，并影响数据回溯并发度。据统计，回刷计算的资源消耗占部门计算资源消耗的 18%。

因此，考虑将上述人工确认的过程自动化，让用户只关注结果而无需关注过程，同时能够对回溯脚本进行自动优化和改写，减少大量维表的关联次数，更高效地完成数据回填。因此需要构建更高效的自动重算能力