摘要：
背景 DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式，分别对应 秒、分、时、月天、月、周天、年。 在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行，造成短时间 阅读全文
posted @ 2024-11-06 18:43
iKinson
阅读(130)
评论(0)
推荐(0)
摘要：
背景 数据血缘是数据资产管理非常重要的一部份，团队现在已经实现通过 Hook 上报 Hive SQL 任务数据血缘，通过 impala lineage 日志获取 impala 任务数据血缘。随着 Spark SQL 计算引擎的使用，现针对该场景设计可行的血缘获取方案。 方案 思路分析 在spark的 阅读全文
posted @ 2024-11-05 18:01
iKinson
阅读(405)
评论(0)
推荐(0)
摘要：
现状 如果大数据团队使用 Cloudera Manager 产品，那极有可能会遇到以下场景： 有多套环境，需要维护各个环境的 scm server 地址（http://10.x.x.x:7180） 给每个 scm server 申请域名，但域名的变更需要走流程 方案 采取前后端分离部署方案（nigi 阅读全文
posted @ 2024-11-01 12:20
iKinson
阅读(80)
评论(0)
推荐(0)
浙公网安备 33010602011771号