会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Kinson・南下搬砖
・in search of our Better Selves
首页
管理
随笔分类 -
Spark
QueryExecutionListener 实现 SPARK SQL 数据血缘
摘要:背景 数据血缘是数据资产管理非常重要的一部份,团队现在已经实现通过 Hook 上报 Hive SQL 任务数据血缘,通过 impala lineage 日志获取 impala 任务数据血缘。随着 Spark SQL 计算引擎的使用,现针对该场景设计可行的血缘获取方案。 方案 思路分析 在spark的
阅读全文
posted @
2024-11-05 18:01
iKinson
阅读(405)
评论(0)
推荐(0)