摘要：dbterd 基于dbt artifacts 生成ERD 代码的工具，内部是通过dbt-artifacts-parser 对于dbt 项目的元数据进行解析当然看到部分可能会使用dbt-core 的cli 包含的一些特性 支持多种模型格式的target 包含了dbml，mermaid，plant目录， 阅读全文

摘要：以前简单介绍过dbt plugin 有一套明确的格式，实际上与dbt adapter 套路是类似的，以下从源码角度看看dbt-loom 的设计 dbt-loom 参考架构 从此图可以看出，dbt-loom 可以从其他地方获取dbt 的元数据（dbt cloud，本地文件，对象存储），之后基于此插件结 阅读全文

摘要：以前是结合使用对于adapter 的dispatch 有过简单说明，以下结合源码分析下 内部参考处理 参考处理 def dispatch( self, macro_name: str, macro_namespace: Optional[str] = None, packages: Optional 阅读全文

摘要：dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断 参考使用 我按照test 处理的，同时进行的测试异常进行存储 使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

摘要：dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理 行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式 参考实现 {% macro pivot(c 阅读全文

摘要：dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型 目前包含的macro generate_source source 类的 生成source 信息，实际上就是生成source 的yaml 文件 参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

摘要：dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下 参考使用 引用定义的 参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

摘要：dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理 物化视图的，以下说明下内部实现 内部处理 默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

摘要：dbt 有一个query_heder 也有一个sql_header，与pre_hooks 有类似的能力，但是sql_header 是与sql 的create table as 以及create view as 是一起执行的，而且是在之前的 参考使用 模型定义 {{ config( sql_heade 阅读全文

摘要：dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称，可以参考我以前写的一些 使用 目前就是应用在dbt 的增量场景中 增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

摘要：adapter expand_target_column_types 核心作用是进行关系的展开对比，确定我们的模型是否需要进行提升（实际上就是数据类型变动） 此功能目前在dbt 的快照以及增量物化场景中使用到 参考使用 简单示例 {% set tmp_relation = adapter.get_r 阅读全文

摘要：dbt 的adapter.get_relation 可以方便的获取存在的relation 信息，以下是一个简单说明 参考实现 内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifie 阅读全文

摘要：dbt 内部总有一些隐藏的小细节，官方文档没有说明，但是在一些adapter 实现中包含，一些是关于check_schema_exists 的一些说明 内部处理 dbt/adapters/sql/impl.py def check_schema_exists(self, database: str, 阅读全文

摘要：dbt model 属于graph 对象，实际上就是一个node 节点，包含了当前模型的一些信息 主要场景 访问config 设置 访问模型的路径 参考使用 查看模型内容 可以通过log macro {{ log(model, info=True) }} 内部实现 实际上就是context 属性信息 阅读全文

摘要：dbt 对于测试的支持包含了数据测试以及单元测试, 数据测试可以保证表的质量，但是单元测试可以确保模型的业务一致性 简单说明 当前只支持模型的 只支持当前项目的单元测试 除非声明多版本也会进行测试 单元测试只能在models 目录下 yaml 格式的 如果希望依赖ephemeral 模型需要配置fo 阅读全文

摘要：dbt render macro 官方文档并没有说明，但是在一些三方adapter 中发现有使用到简单说明下 参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

摘要：dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表，了解内部处理有利于学习快照处理技术 macro 定义 内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较，会处理添加的，删除的，以及交集数据，dbt 使用了自己的支持key 阅读全文

摘要：dbt 不少资源类型都支持config macro 的使用，可以进行灵活的配置管理 参考使用 配置 模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

摘要：dbt 的snapshot 实际上也是一种物化处理，支持与test，docs，稍有不同就是dbt 没定义独立的block 扩展，以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型 使用 包含了配置以及snapshot 定义，配置支持dbt_project 项目级以及独立sn 阅读全文

摘要：dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table，schem 阅读全文