摘要：dbt 演变以及周边工具是越来月多了，而且有不少db 已经支持dbt 的集成玩法了，官方提供了一些相关开发文档，一些不是很清晰对于我们实际需要开发的，就可以自己摸索，现在new sql 是越来越多了，但是并不是都能更好的支持dbt 内置的一些功能， 连接管理部分 这个部分官方有完整的信息，文档有提供 阅读全文

摘要：automate-dv 基于dbt 的data vault 2.0 落地工具，包装了不少方便的宏，可以方便我们呢进行data vault 2.0 数据仓库建模理论的实际落地 功能 企业级保障 支持data vault 的hub，links，satelintes以及一些扩展（方便使用） 元数据驱动的代 阅读全文

摘要：sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言，以及模版代码，比较适合ELT 类型的数据分析应用，同时对于dbt 也是比较友好的 特性 多种数据库方言支持 支持模版（jinja，dbt） 可以很好的集成ci/cd dbt 参考效果 因为dbt 使用了jinja 模版引 阅读全文

摘要：dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的） 外部模型引用使用说明 实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示 阅读全文

摘要：dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re 阅读全文

摘要：dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor 阅读全文

摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档 参考资料 https://github.com/dremio/dbt-dre 阅读全文

摘要：一篇值得学习的dbt 分析文章，内容还是比较有意思的https://benn.substack.com/p/how-dbt-fails 阅读全文

摘要：cube cube.js 个人比较喜欢的一个无头bi 开源工具，支持建模以及bi 分析，基于nodejs 开发，还是很强大的 Metriql 数据的metrics 层，支持jdbc 操作，以及rest api （部分利用了presto core 部分的代码），基于dbt，也属于无头bi 工具 Mal 阅读全文

摘要：dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性而且还可以支持dbt 处理 参考架构 说明 dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark 参考资料 https://dagster.io 阅读全文

摘要：一张参考图 从下图可以看出kuwala使用到的组件 说明 目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的 参考资料 https://github.com/kuwala-io/kuwala 阅读全文

摘要：基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$ 阅读全文

摘要：我们在 Lightdash 的使命是：让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队（👷‍♀️ 建设者）和其他业务部门（👩‍🌾 消费者）聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作，我们有一些非常强烈的意见。 阅读全文

摘要：主要介绍接口定义，实际的实现后续说明 ProjectAdapter 是一个比较重要的东西，定义了project 以及dbt client ，WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro 阅读全文

摘要：以下简单介绍下lightdash lightdash 源码结构 代码基于yarn workspace 模式，对于数据库访问为了提升性能基于了odbc（当然也是有其他原因的，比如本来就不能很好使用js驱动的） 核心代码目录都在packages 中 backend // 后端接口项目，比较核心 comm 阅读全文

摘要：目前基于dbt 开源的东西不少了（dbt的确是数据分析的一个好工具）lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发，我们可以基于配置进行dashborad 服务的开发 说明 Metriql 也是一个基于dbt 开发的（此工具是借鉴了dbt的处理，没有直接使用dbt 阅读全文

摘要：Metriql 无头bi 工具,核心是基于dbt 的能力进行聚合处理 参考图 Metriql 的玩法 集成dbt 进行数据模式管理 中心化管理metrics 基于rest api，bi 工具 （bi 工具上复用了trino 、presto 驱动） 说明 Metriql 的设计还是很巧妙的，直接利用了 阅读全文

摘要：prefect 主要是用来进行数据的工作流管理系统，而且prefect 团队开源了核心工具，而且目前prefect 也提供了比较丰富的工具报（而且支持dremio。。。。） 说明 prefect 是一个很不错的基于python 编写的调用工具，很值得学习下，而且dbt 官方也有介绍到 参考资料 ht 阅读全文

摘要：dbt 团队提供了presto 的adapter同时也是一个不错的的参考实现，可以学习 当前dbt presto 对于版本的要求是0.13.1 对于当前最新版本的还不支持，同时需要使用源码安装pip 包 dbt presto pip 包安装 clone 代码包 git clone https://g 阅读全文

摘要：dbt 0.14.0 在最近已经发布了，dbt server 的还是很不错的特性，以下安装试用下几个新功能 环境准备 安装 如果没有安装的： pip install dbt 已经安装的： pip install -U dbt 如果没有安装的： pip install dbt 已经安装的： pip i 阅读全文