2024年4月16日

dbt-checkpoint 源码结构简单说明

摘要: 前边说过dbt-checkpoint 是基于dbt 的元数据解析,然后集合规则进行check,属于一个pre-commit 插件,以下简单说明下内部实现 配置 核心是 .pre-commit-hooks.yaml文件,一个标准的pre-commit 定义 内容 核心是id,name,entry,la 阅读全文

posted @ 2024-04-16 19:39 荣锋亮 阅读(54) 评论(0) 推荐(0)

自定义pre-commit 开发格式简单说明

摘要: 内容来自官方文档,主要是简单说明下,方便学习 约定 git 项目需要包含.pre-commit-hooks.yaml 文件,里边内容格式如下 - id: trailing-whitespace name: Trim Trailing Whitespace description: This hook 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(78) 评论(0) 推荐(0)

pre-commit 多语言pre-commit hooks 框架

摘要: pre-commit 多语言pre-commit hooks 框架 基于python 开发,功能很强大 参考使用 安装 pip install pre-commit 添加配置 .pre-commit-config.yaml repos: - repo: https://github.com/pre- 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(103) 评论(0) 推荐(0)

dbt-checkpoint 确保dbt 项目质量的pre-commit hooks 工具

摘要: dbt-checkpoint 实际上属于pre-commit hooks plugin 实现了不少hooks 可以用来提升dbt 项目的模型质量内部处理上实际是对于dbt 的元数据进行解析,当然dbt-checkpoint 也提供了不少其他扩展 目前包含的hooks 只大概说明下,详细的后边介绍下, 阅读全文

posted @ 2024-04-16 19:38 荣锋亮 阅读(35) 评论(0) 推荐(0)

dbt 项目依赖文件加载处理简单说明

摘要: 核心是通过ManifestLoader 的load 方法中通过调用ReadFilesFromFileSystem 处理的,以前简单说明dbt 的一些任务执行是需要先生成manifest文件(比如run) 此任务数据的预处理是通过装饰器 ReadFilesFromFileSystem 类 @datac 阅读全文

posted @ 2024-04-16 08:00 荣锋亮 阅读(64) 评论(0) 推荐(0)

导航