随笔分类 -  Spark

摘要:背景 数据血缘是数据资产管理非常重要的一部份,团队现在已经实现通过 Hook 上报 Hive SQL 任务数据血缘,通过 impala lineage 日志获取 impala 任务数据血缘。随着 Spark SQL 计算引擎的使用,现针对该场景设计可行的血缘获取方案。 方案 思路分析 在spark的 阅读全文
posted @ 2024-11-05 18:01 iKinson 阅读(405) 评论(0) 推荐(0)