摘要：以前关于dremio 元数据刷新的也简单介绍过，最近发现dremio 新版本（从24.1 版本开始）有一些调整，废弃了，所有数据集的刷新配置 只支持基于查询的元数据刷新，一些关于此调整一些说明 好处 减少了元数据刷新的时间以及对于查询的影响，可以让查询阶段的元数据处理更快了（核心是减少查询处理） 减 阅读全文

摘要：内容来自官方文档，主要是简单说明下，方便学习 约定 git 项目需要包含.pre-commit-hooks.yaml 文件，里边内容格式如下 - id: trailing-whitespace name: Trim Trailing Whitespace description: This hook 阅读全文

摘要：前边说过dbt-checkpoint 是基于dbt 的元数据解析，然后集合规则进行check，属于一个pre-commit 插件，以下简单说明下内部实现 配置 核心是 .pre-commit-hooks.yaml文件，一个标准的pre-commit 定义 内容 核心是id，name，entry，la 阅读全文

摘要：pre-commit 多语言pre-commit hooks 框架 基于python 开发，功能很强大 参考使用 安装 pip install pre-commit 添加配置 .pre-commit-config.yaml repos: - repo: https://github.com/pre- 阅读全文

摘要：dbt-checkpoint 实际上属于pre-commit hooks plugin 实现了不少hooks 可以用来提升dbt 项目的模型质量内部处理上实际是对于dbt 的元数据进行解析，当然dbt-checkpoint 也提供了不少其他扩展 目前包含的hooks 只大概说明下，详细的后边介绍下， 阅读全文

摘要：核心是通过ManifestLoader 的load 方法中通过调用ReadFilesFromFileSystem 处理的，以前简单说明dbt 的一些任务执行是需要先生成manifest文件（比如run） 此任务数据的预处理是通过装饰器 ReadFilesFromFileSystem 类 @datac 阅读全文

摘要：以前简单介绍过dbt 的manifest Compiler 模块，以下说明下dbt 的CompileTask cli task 作用 核心是对于解析生成的Manifest 进行编译，同时还会对于编译结果写入target 目录，同时还需要进行db 链接进行一个check 处理（比如schema 信息获 阅读全文

摘要：实际上是dbt 在设计macro 中的一个技巧，比较有意思，对于系统或者三方包开发的macro 添加自己prefix 比如，原始macro name 为dremio__alter_column_type dbt 会将解析的macro 添加一个dbt_macro__的前缀为 dbt_macro__dr 阅读全文

摘要：现在调度工具是越来越多了，而且集成的能力也越来越强大了windmill 是一个很不错的workflow 调度平台功能很强大 特性 可扩展的执行runtime，支持跨语言代码执行 强大的调度器，支持基于低代码以及yaml 模式 通过app builder 使用低代码或者js 框架开发面向数据的dash 阅读全文

摘要：dbt common 包中包含了一个工具模块可以进行macro 的组合 参考代码 可以看出主要是进行组合的，属于一个格式，对于后续任务执行的macro 处理需要使用 from dbt_common.exceptions import DbtInternalError # dbt 对于macro 会默 阅读全文

摘要：BaseAdapter是dbt 所有adapter 的父类，dbt 内部默认实现了有一个SQLAdapter 的实现，现有的一些扩展基本实现SQLAdapter 就可以了 比如dremio 的dbt adapter 就是直接扩展的SQLAdapter BaseAdapter 提供的能力 简单说明 a 阅读全文

摘要：dremio 25.0 版本已经发布了，但是如果希望自己源码构建，但是缺少一些依赖造成编译会有问题，但是我们可以直接基于官方提供的 下载包的文件进行maven 私服的重建，以下说明下简单流程 参考流程 下载软件包 这个可以从dremio 官网下载到 最好选择一个可以构建的分支本地构建下 此步骤的目的 阅读全文

摘要：就是最近dremio 25.0 发布了，昨天在体验了之后似乎一些功能与实际的说明是不太一样的（也可能是社区版的问题） 一些问题 注意jdk8 不支持了，最低是jdk 11 了 nessie catalog ga 了(生产可用) 官方的说法是支持基于api 以及ALTER TABLE ， ALTER 阅读全文

摘要：包含了与处理以及实际的编译处理compile 以及compile_node 在compilation 模块中的Compiler 类中 主要使用的模块 主要是CompileRunner.compile, GenericRPCRunner.compile, RunTask.get_hook_sql 这几 阅读全文

摘要：freenginx 与nginx 的事情大家可能都听说过，目前看freenginx 迭代速度是明显加快了，目前已经发布到1.26.0 了有不少bug 的修复值得试用下，以下是目前最新的一些发布信息 说明 目前nginx 的分支是越来越多了，不少项目都是从官方人员分裂出来的，angie 同样也是一个n 阅读全文

摘要：就在最近dremio 发布了25.0 版本，新的特性很多，同时也有不少历史问题的fix，完整信息可以参考官方文档 说明 等后边体验之后说明下新特性的功能 参考资料 https://docs.dremio.com/current/release-notes/version-250-releasehtt 阅读全文

摘要：最近在进行一个系统fix的时候，按照最简单的方法就是自己unzip jar 文件，之后通过编译代码，然后替换class文件，之后通过jar cvf 进行重新压缩，但是每次替换都会提示spring bean 存在多个，原始的就没有问题，经过一些尝试发现是此方法不太好，部分系统的加载的jar 会有差异影 阅读全文

摘要：我们经常看到一些开源pip 包提供了类似pip install awesome[databases] 模式的安装方法，以下是一个简单说明 使用到的核心配置 核心就是extras 配置，对于不同的构建工具的配置可能不太一样，但是都是基于extras的 poetry参考配置 我使用的是编辑模式的包，实际 阅读全文

摘要：lightdash 是依赖dbt 进行建模的bi 工具，以下说明下lightdash 是如何集成dbt 的 简单操作流程 如下，主要是安装cli，预处理表，然后创建项目 内部处理简单说明 packages/cli/src/index.ts 代码位置，主要是通过自定义一些dbt 的meta 信息，然后 阅读全文

摘要：默认lightdash deploy --create 的时候会进行dbt profile target 数据库的链接测试，如果不通就会有提示问题同时lightdash deploy 同时创建项目的时候会提示是否包含数据库的信息（在创建的时候会写入到backend 服务中） dbt pg adapt 阅读全文