荣锋亮 - 博客园

自定义pre-commit 开发格式简单说明

摘要：内容来自官方文档，主要是简单说明下，方便学习约定 git 项目需要包含.pre-commit-hooks.yaml 文件，里边内容格式如下 - id: trailing-whitespace name: Trim Trailing Whitespace description: This hook 阅读全文

posted @ 2024-04-16 19:38 荣锋亮阅读(78) 评论(0) 推荐(0)

pre-commit 多语言pre-commit hooks 框架

摘要： pre-commit 多语言pre-commit hooks 框架基于python 开发，功能很强大参考使用安装 pip install pre-commit 添加配置 .pre-commit-config.yaml repos: - repo: https://github.com/pre- 阅读全文

posted @ 2024-04-16 19:38 荣锋亮阅读(103) 评论(0) 推荐(0)

dbt-checkpoint 确保dbt 项目质量的pre-commit hooks 工具

摘要： dbt-checkpoint 实际上属于pre-commit hooks plugin 实现了不少hooks 可以用来提升dbt 项目的模型质量内部处理上实际是对于dbt 的元数据进行解析，当然dbt-checkpoint 也提供了不少其他扩展目前包含的hooks 只大概说明下，详细的后边介绍下，阅读全文

posted @ 2024-04-16 19:38 荣锋亮阅读(35) 评论(0) 推荐(0)

dbt 项目依赖文件加载处理简单说明

摘要：核心是通过ManifestLoader 的load 方法中通过调用ReadFilesFromFileSystem 处理的，以前简单说明dbt 的一些任务执行是需要先生成manifest文件（比如run）此任务数据的预处理是通过装饰器 ReadFilesFromFileSystem 类 @datac 阅读全文

posted @ 2024-04-16 08:00 荣锋亮阅读(64) 评论(0) 推荐(0)

dbt CompileTask 简单说明

摘要：以前简单介绍过dbt 的manifest Compiler 模块，以下说明下dbt 的CompileTask cli task 作用核心是对于解析生成的Manifest 进行编译，同时还会对于编译结果写入target 目录，同时还需要进行db 链接进行一个check 处理（比如schema 信息获阅读全文

posted @ 2024-04-15 00:58 荣锋亮阅读(40) 评论(0) 推荐(0)

jinja2 通过添加自定义parser实现macro的名称调整

摘要：实际上是dbt 在设计macro 中的一个技巧，比较有意思，对于系统或者三方包开发的macro 添加自己prefix 比如，原始macro name 为dremio__alter_column_type dbt 会将解析的macro 添加一个dbt_macro__的前缀为 dbt_macro__dr 阅读全文

posted @ 2024-04-14 06:46 荣锋亮阅读(48) 评论(0) 推荐(0)

windmill Airplane&Superblocks&Retool&Prefect&Airflow 可选工具

摘要：现在调度工具是越来越多了，而且集成的能力也越来越强大了windmill 是一个很不错的workflow 调度平台功能很强大特性可扩展的执行runtime，支持跨语言代码执行强大的调度器，支持基于低代码以及yaml 模式通过app builder 使用低代码或者js 框架开发面向数据的dash 阅读全文

posted @ 2024-04-13 09:11 荣锋亮阅读(112) 评论(0) 推荐(0)

dbt macro 名称获取简单说明

摘要： dbt common 包中包含了一个工具模块可以进行macro 的组合参考代码可以看出主要是进行组合的，属于一个格式，对于后续任务执行的macro 处理需要使用 from dbt_common.exceptions import DbtInternalError # dbt 对于macro 会默阅读全文

posted @ 2024-04-13 00:07 荣锋亮阅读(40) 评论(0) 推荐(0)

dbt BaseAdapter简单说明

摘要： BaseAdapter是dbt 所有adapter 的父类，dbt 内部默认实现了有一个SQLAdapter 的实现，现有的一些扩展基本实现SQLAdapter 就可以了比如dremio 的dbt adapter 就是直接扩展的SQLAdapter BaseAdapter 提供的能力简单说明 a 阅读全文

posted @ 2024-04-12 07:38 荣锋亮阅读(51) 评论(0) 推荐(0)

基于dremio 安装包进行源码依赖包maven 私服重建的一个思路

摘要： dremio 25.0 版本已经发布了，但是如果希望自己源码构建，但是缺少一些依赖造成编译会有问题，但是我们可以直接基于官方提供的下载包的文件进行maven 私服的重建，以下说明下简单流程参考流程下载软件包这个可以从dremio 官网下载到最好选择一个可以构建的分支本地构建下此步骤的目的阅读全文

posted @ 2024-04-11 18:29 荣锋亮阅读(91) 评论(7) 推荐(0)

dremio 25.0 版本的一些问题

摘要：就是最近dremio 25.0 发布了，昨天在体验了之后似乎一些功能与实际的说明是不太一样的（也可能是社区版的问题）一些问题注意jdk8 不支持了，最低是jdk 11 了 nessie catalog ga 了(生产可用) 官方的说法是支持基于api 以及ALTER TABLE ， ALTER 阅读全文

posted @ 2024-04-11 11:30 荣锋亮阅读(69) 评论(0) 推荐(0)

dbt manifest Compiler 简单说明

摘要：包含了与处理以及实际的编译处理compile 以及compile_node 在compilation 模块中的Compiler 类中主要使用的模块主要是CompileRunner.compile, GenericRPCRunner.compile, RunTask.get_hook_sql 这几阅读全文

posted @ 2024-04-11 07:11 荣锋亮阅读(33) 评论(0) 推荐(0)

freenginx 的发布速度明显加快了

摘要： freenginx 与nginx 的事情大家可能都听说过，目前看freenginx 迭代速度是明显加快了，目前已经发布到1.26.0 了有不少bug 的修复值得试用下，以下是目前最新的一些发布信息说明目前nginx 的分支是越来越多了，不少项目都是从官方人员分裂出来的，angie 同样也是一个n 阅读全文

posted @ 2024-04-10 12:35 荣锋亮阅读(218) 评论(0) 推荐(0)

dremio 25.0 发布

摘要：就在最近dremio 发布了25.0 版本，新的特性很多，同时也有不少历史问题的fix，完整信息可以参考官方文档说明等后边体验之后说明下新特性的功能参考资料 https://docs.dremio.com/current/release-notes/version-250-releasehtt 阅读全文

posted @ 2024-04-10 10:28 荣锋亮阅读(53) 评论(0) 推荐(0)

jar class 文件替换最好使用jar 自带的命令行工具

摘要：最近在进行一个系统fix的时候，按照最简单的方法就是自己unzip jar 文件，之后通过编译代码，然后替换class文件，之后通过jar cvf 进行重新压缩，但是每次替换都会提示spring bean 存在多个，原始的就没有问题，经过一些尝试发现是此方法不太好，部分系统的加载的jar 会有差异影阅读全文

posted @ 2024-04-10 10:10 荣锋亮阅读(278) 评论(0) 推荐(0)

poetry pip extras 模式包配置简单说明

摘要：我们经常看到一些开源pip 包提供了类似pip install awesome[databases] 模式的安装方法，以下是一个简单说明使用到的核心配置核心就是extras 配置，对于不同的构建工具的配置可能不太一样，但是都是基于extras的 poetry参考配置我使用的是编辑模式的包，实际阅读全文

posted @ 2024-04-10 07:09 荣锋亮阅读(175) 评论(0) 推荐(0)

lightdash deploy --create 数据库配置问题

摘要：默认lightdash deploy --create 的时候会进行dbt profile target 数据库的链接测试，如果不通就会有提示问题同时lightdash deploy 同时创建项目的时候会提示是否包含数据库的信息（在创建的时候会写入到backend 服务中） dbt pg adapt 阅读全文

posted @ 2024-04-09 13:44 荣锋亮阅读(72) 评论(0) 推荐(0)

lightdash 与dbt集成的玩法简单说明

摘要： lightdash 是依赖dbt 进行建模的bi 工具，以下说明下lightdash 是如何集成dbt 的简单操作流程如下，主要是安装cli，预处理表，然后创建项目内部处理简单说明 packages/cli/src/index.ts 代码位置，主要是通过自定义一些dbt 的meta 信息，然后阅读全文

posted @ 2024-04-09 13:43 荣锋亮阅读(336) 评论(0) 推荐(0)

ludic 基于纯python 开发动态html 页面的框架

摘要： ludic 使用了htmx 进行页面的处理，同时基于starlette 提供asgi web 能力包含的特性基于python 的无缝的htmx 集成快速开发web 基于python 类型系统的类型组件基于starlette的异步搞性能web 处理基于python f-strings 的htm 阅读全文

posted @ 2024-04-09 13:36 荣锋亮阅读(54) 评论(0) 推荐(0)

fire google 开源的python cli 工具

摘要： click 是python 一个比较常用的cli 开发工具包，fire是google 开发的一个更加方便的cli 工具包，使用起来比较简单以下是一个简单的试用简单使用项目init hatch new demo 添加依赖 pyproject.toml dependencies = [ "fire 阅读全文

posted @ 2024-04-09 08:00 荣锋亮阅读(47) 评论(0) 推荐(0)

immer 不可变对象状态管理的工具

摘要： immer是一个不可变对象状态管理的node 包，一般主要场景应用到react 等项目中，当然node 项目也是可以使用的优点遵循不可变数据流强类型开箱即用的结构共享开箱即用的对象冻结 json patche 支持 gzip 之后比较小内部参考处理如下图参考资料 https://im 阅读全文

posted @ 2024-04-08 09:47 荣锋亮阅读(70) 评论(0) 推荐(0)

pluggy python setuptools entry_points 模式加载插件

摘要：已经简单介绍过关于pluggy python 插件包的使用，以下演示下基于python 的setuptools entry_points 模式加载插件此功能是pluggy 插件注册的一个模式项目代码结构结构 ├── README.md ├── bootstrap │ ├── README.md 阅读全文

posted @ 2024-04-08 00:07 荣锋亮阅读(155) 评论(0) 推荐(0)

dbt meta 配置简单说明

摘要： dbt 的meta 从dbt 系统的角度来说，属于一些元数据的扩展，可以添加一个二外的描述信息，方便进行文档或者其他的扩展（比如开发自己的解析处理） lightdash 是基于dbt 的一个bi 平台，就比较依赖dbt 的meta 能力配置说明 dbt meta 可以通过dbt_project.y 阅读全文

posted @ 2024-04-07 10:23 荣锋亮阅读(50) 评论(0) 推荐(0)

pluggy python 最小产品级插件框架

摘要： pluggy python 最小产品级插件框架，目前在pytest，tox 以及devpi 项目中都有使用到简单使用项目准备 poetry new plugindemo poetry shell poetry add pluggy 代码 plugindemo/demo.py import plu 阅读全文

posted @ 2024-04-07 08:00 荣锋亮阅读(133) 评论(0) 推荐(0)

dbt query_header 简单说明

摘要： dbt 对于每个实际执行的任务（实际sql）都会包含一个任务注释，可以方便的查看dbt 版本，执行nodeid，target 参考格式 /* {"app": "dbt", "dbt_version": "1.5.11", "profile_name": "dremio_nessie", "targe 阅读全文

posted @ 2024-04-06 08:00 荣锋亮阅读(39) 评论(0) 推荐(0)

dbt debug macro 简单说明

摘要： dbt 支持debug macro 可以用来进行调试使用 {% macro my_macro() %} {% set something_complex = my_complicated_macro() %} {{ debug() }} {% endmacro %} 参考实现实际上就是通过环境变阅读全文

posted @ 2024-04-05 08:00 荣锋亮阅读(47) 评论(0) 推荐(0)

dbt statement macro 简单说明

摘要： statement blocks 实际上就是一个标准的jinja2 macro 调用包装，提供了方便的sql 执行能力，因为需要进行查询结果的存储，dbt 提供了一个store_result 的macro，内部数据的处理基于了agate 这个方便的python 数据处理包为了查询使用提供了lo 阅读全文

posted @ 2024-04-04 08:33 荣锋亮阅读(59) 评论(0) 推荐(0)

dbt dremio 项目代码结构简单说明

摘要：以前简单介绍过dremio dbt 扩展的特点，以下说明下代码结构参考代码结构 dbt ├── adapters │ └── dremio │ ├── __init__.py │ ├── __version__.py │ ├── api │ │ ├── __init__.py │ │ ├── au 阅读全文

posted @ 2024-04-03 00:49 荣锋亮阅读(61) 评论(0) 推荐(0)

dbt adapter 注册处理简单说明

摘要：以下简单说明下dbt 是如何加载其他adapter 的参考注册处理实际上是在cli 的manifest 装饰器的parse_manifest 中处理的参考代码 def parse_manifest(runtime_config, write_perf_info, write, write_js 阅读全文

posted @ 2024-04-03 00:48 荣锋亮阅读(55) 评论(0) 推荐(0)

dbt click包执行上下文manifest 处理简单说明

摘要： dbt 的cli 执行是基于了click 者pip 包，同时为了方便执行（比如依赖的参数），dbt 核心比较重要的是manifest 这个参数是通过context 传递的 run 参考task 处理参考代码 core dbt/cli/main.py @cli.command("run") @cli 阅读全文

posted @ 2024-04-03 00:47 荣锋亮阅读(37) 评论(0) 推荐(0)

dremio dbt 实现简单说明

摘要： dremio dbt adapter 是一个方便的可以通过dbt 进行dremio 模型的工程化建模工具，adapter 实现上也是按照标准的套路以下是一个关于实现的简单说明内部实现特点 dremio 的操作基于了http 的rest api，没有使用odbc 或者flight sql 处理，这样阅读全文

posted @ 2024-04-03 00:46 荣锋亮阅读(42) 评论(0) 推荐(0)

RudderStack 开源CDP 平台

摘要： RudderStack是基于golang 开发的开源CDP 平台包含的特性 event streaming 支持16+ sdk profiles 快速基于dw 或者data lake 构建客户画像 reverse etl 支持反向etl 数据治理支持增强追踪，方便对于一些隐私数据的管理 even 阅读全文

posted @ 2024-04-02 13:07 荣锋亮阅读(347) 评论(0) 推荐(0)

agate 一个方便的python 数据分析包

摘要：对于基于python数据处理的同学，使用pandas 的可能比较多，但是agate 也是一个很不错的选择，比如dbt 对于seed 模型的处理就基于了agate agate包含的特性易读以及用户用好的api 完整的类似sql 的操作 unicode 支持比较完整的文档插件化的扩展支持（比如sq 阅读全文

posted @ 2024-04-02 13:07 荣锋亮阅读(48) 评论(0) 推荐(0)

PyNest基于fastapi 类似nestjs 的python 框架

摘要： PyNest基于fastapi 类似nestjs 的python 框架支持的特性依赖注入类型注解装饰器代码生成参考使用安装cli pip install pynest-api 创建项目 pynest create-nest-app -n my_app_name 添加模块 pynest 阅读全文

posted @ 2024-04-02 08:00 荣锋亮阅读(137) 评论(0) 推荐(0)

dbt Runner 简单说明

摘要： Runner 提供了一个任务执行的抽象定义，同时 BaseRunner参考类图可以看出BaseRunner task 使用主要是基于提供的一个方法标记使用的runner 实现 def get_runner_type(self, node): raise NotImplementedError(" 阅读全文

posted @ 2024-04-02 08:00 荣锋亮阅读(61) 评论(0) 推荐(0)

setuptools 对于现代python包支持的简单试用

摘要：以前我们编写python包通过setuptools 是编写配置setup.cfg以及一个setup.py 文件，现代的玩法是基于pyproject.toml 以下是一个简单学习项目准备使用venv cli python -m venv venv source venv/bin/activate 阅读全文

posted @ 2024-04-01 08:00 荣锋亮阅读(88) 评论(0) 推荐(0)

dbt macro 的执行简单说明

摘要： BaseAdapter 中包含了一个adapter 实际运行依赖的转换，链接处理，当然也包含了macro 的执行，具体方法有直接的execute_macro ModelRunner 中的materialization_macro（run 命令）还有run-operation 中RunOperatio 阅读全文

posted @ 2024-04-01 08:00 荣锋亮阅读(81) 评论(0) 推荐(0)

dbt this macro 处理简单说明

摘要： dbt this macro提供了一种方便的对于当前模型展现的方法，可以使用在增量模型以及pre&post hooks 中 this 实际是就类似ref('<the_current_model>') 是一个relation 包含了database，schema 以及模型标识使用示例一个增量处理的阅读全文

posted @ 2024-03-31 10:27 荣锋亮阅读(39) 评论(0) 推荐(0)

hatch python 现代项目管理工具

摘要： hatch python 现代项目管理工具，以下是一些简单试用安装 cli brew install hatch 一些推荐配置这样我们的venv 直接在执行目录中，比较方便使用 hatch config set dirs.env.virtual .hatch 简单项目 cli hatch new 阅读全文

posted @ 2024-03-30 10:13 荣锋亮阅读(311) 评论(0) 推荐(0)

dremio sqlalchemy poetry 模式包管理

摘要：比较有意思的是关于poetry setuptools entry_points 配置的，目前基于script 模式是有问题的，结果通过尝试使用plugin 模式是可以的参考配置 [tool.poetry.plugins."sqlalchemy.dialects"] "dremio.flight" 阅读全文

posted @ 2024-03-30 08:00 荣锋亮阅读(25) 评论(0) 推荐(0)

导航

公告