摘要：dbt_artifacts 实际上属于基于基于macro 以及自定义模型开发的一个dbt 包，实现了模型的元数据能力,同时也可以作为一个dbt 模型测试的工具 支持的数据库 Databricks Spark Snowflake Google BigQuery Postgres 参考资料 https: 阅读全文

摘要：elementary 面向对象分析师的开源数据可观测工具,基于了dbt 包含的特性 数据可观测性报告 通过dbt tests 可以发现异常数据 测试结果 模型性能报告 数据血缘 dbt 制品上传 slack 同志 说明 elementary 实际上就是一个dbt 的扩展，实现了不少强大的功能，值得试 阅读全文

摘要：dataspell 是jetbrains 的数据开发工具，是一个很不错的数据开发ide，同时也支持对于dbt 项目的开发我们可以使用类似idea 的开发模式进行dbt 项目开发 参考效果 项目结构 数据管理 注意需要自己配置数据源（可以使用遗留模式的jdbc，或者基于arrow flight jdb 阅读全文

摘要：dbt-language-server fivetran 提供的dbt 语言工具 包含的特性 查询预览 sql to ref 的转换 异常高光 自动完成 函数签名帮助 跳转定义 dbt 状态 创建dbt 项目 安装dbt 包 说明 对于基于dbt进行是数据建模的，dbt-language-serve 阅读全文

摘要：dbt 在国外比较火，同时社区也提供了不少调度运行模式（core 部分没提供），研究apache airflow 是一个不错的选择，但是原生script 模式的调用比较简单，astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 阅读全文

摘要：sqlmesh 是一个类似dbt 的工具，目前没有dbt 热度高，但是也提供了一些不错的周边 一些比较不错的功能点 open sosurce ui 列级别的血缘 native notebook 支持 多仓库支持 sql 转译 开源ci/cd bot 虚拟数据环境 原生airflow 集成 data 阅读全文

摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置 配置说明 对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本， 阅读全文

摘要：以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能 阅读全文

摘要：基于基于dbt 的datavault 2.0 实现还是不少的，可以加速模型的创建，以前简单介绍的automate-dv 也是一个类似的dbt包 包含的maccro Staging Area (For Hashing, prejoins and ghost records) Hubs, Links & 阅读全文

摘要：简单说明下基于dbt +dremio 的语义层建模 参考玩法 如下图 简单说明 关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的 集成简单说明 对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt 阅读全文

摘要：dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中 官方参考玩法 实际上核心是基于dbt +dremio 进行模型的创建 内部集成玩法 对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice 阅读全文

摘要：随着大家对于数据质量越来越重视，数据可观测性已经成为一个比较重要的工程化实践了，dbt core 实际上已经包含了一些简单的数据质量能力（比如model schema 定义中关于test 的处理），但是默认的还是比较弱，所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量，以下是一个整 阅读全文

摘要：dbt-project-evaluator 是官方提供的一个dbt 扩展，可以方便的自动帮助我们发现模型DAG的问题 支持的功能 协助模型的最佳实践 协助测试的最佳实践 协助文档的最佳实践 协助项目文件结构的最佳实践 协助模型物化最佳实践 协助模型治理最佳实践 目前支持的数据库 bigquery d 阅读全文

摘要：kestra 官方是提供了基于docker-compose 运行的模版，以下主要是体验下，实际上kestra 提供的一些能力还是很强大的 尤其是强大的插件开发能力 环境准备 docker-compose 文件 volumes: postgres-data: driver: local kestra- 阅读全文

摘要：主要测试下集成minio s3，同时体验下mage-ai 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9003:9000" - "19002:19001" environment: 阅读全文

摘要：官方提供的一些不错的dbt 周边扩展 metricflow 此功能属于dbt 语义曾的一个核心组件这个是官方在推广的，对于我们进行数据分析很不错，参考玩法 dbt-meshify 这个属于dbt core 的一个扩展，提供了创建group，contract，access，version 以及进行项目 阅读全文

摘要：dbt 在v1.6 版本，官方提供的不少adapter 支持了基于视图的物化处理，这个是一个很不错的功能技术上利用了db 提供的能力，官方提供了相关的介绍，具体可以参考连接 参考资料 https://docs.getdbt.com/blog/announcing-materialized-views 阅读全文

摘要：dbt modules 宏提供了让dbt 访问python 包的能力，处理上基于了jinja 的上下问处理，但是目前官方没有完整暴露此方法 核心还是因为安全问题，只提供了一些时间、正则、迭代处理的，实际使用上基于了python 模块的动态加载（getattr） modules 宏的使用参考 {% s 阅读全文

摘要：jinjat 的设计还是比较有意思的，直接利用了dbt，同时利用了一个analyses配置,analyses 在dbt 中更多属于一个基于现有的模型进行编译，但是不进行 执行，jinjat 就利用了功能，但是扩展了下 参考使用 模型 analysis/my_first_api.sql {%- set 阅读全文

摘要：dbt-duckdb 是一个dbt 扩展，功能很强大，同时社区也有相关的文章，使用duckdb 替换spark 处理一些数据的pipeline因为duckdb 具有很不错的olap 性能，同时支持不少外部数据集成（比如s3，http，parquet，pg。。。。）dbt-duckdb扩展使用起来很方 阅读全文