2024年5月23日

dbt get_materialized_view_configuration_changes 简单说明

摘要: dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理,目前一些实现主要是处理 物化视图的,以下说明下内部实现 内部处理 默认实现 dbt-adapter 中,实际为空 {% macr 阅读全文

posted @ 2024-05-23 07:02 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

2024年5月22日

dbt sql_header 简单说明

摘要: dbt 有一个query_heder 也有一个sql_header,与pre_hooks 有类似的能力,但是sql_header 是与sql 的create table as 以及create view as 是一起执行的,而且是在之前的 参考使用 模型定义 {{ config( sql_heade 阅读全文

posted @ 2024-05-22 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年5月21日

url-pattern 一个不错的url 模式解析包

摘要: url-pattern 是一个很不错的url 模式解析包,可以方便的进行url 解析(类似我们web 框架的路由处理)可以用来实现方便的url 解析处理 因为很多时候我们需要获取url 的部分信息,基于正则是可以的,但是url-pattern 提供了比较灵活的模式匹配是一个很不错的工具包 参考使用 阅读全文

posted @ 2024-05-21 17:25 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

sqids hashids 的升级版

摘要: sqids 是hashids 的升级版,提供了不少新功能,但是与hashids是不兼容的 包含的特性 生成短id 方便编码以及解码 自动生成id 支持通过自定义大阮的字母生成id 每个版本可以生成唯一的id 支持blocklist 使用场景 主键编码 保存数据库查找 临时登陆token 不适合的场景 阅读全文

posted @ 2024-05-21 17:25 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

dbt adapter get_incremental_strategy_macro 简单说明

摘要: dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称,可以参考我以前写的一些 使用 目前就是应用在dbt 的增量场景中 增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

posted @ 2024-05-21 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年5月20日

dbt adapter expand_target_column_types 简单说明

摘要: adapter expand_target_column_types 核心作用是进行关系的展开对比,确定我们的模型是否需要进行提升(实际上就是数据类型变动) 此功能目前在dbt 的快照以及增量物化场景中使用到 参考使用 简单示例 {% set tmp_relation = adapter.get_r 阅读全文

posted @ 2024-05-20 07:31 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年5月19日

dbt adapter 的get_relation 简单说明

摘要: dbt 的adapter.get_relation 可以方便的获取存在的relcation 信息,以下是一个简单说明 参考实现 内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifi 阅读全文

posted @ 2024-05-19 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年5月18日

puppeteer使用一些技巧简单说明

摘要: puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制,puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际,个人建议减少复 阅读全文

posted @ 2024-05-18 22:25 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

puppeteer localstorage 处理简单说明

摘要: puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求,现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储,以下是关于localstorage 处理的一个简单演示 环境准备 基于了browserless(使用了v2版本,注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dremio 分布式存储docker配置简单说明

摘要: 对于dremio 分布式存储的配置我们直接修改配置文件,当然基于环境变量 参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

posted @ 2024-05-18 22:18 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

jenkins docker 开启debug 简单说明

摘要: jenkins docker 镜像为了方便调试,已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理,以下是一个简单使用 参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文

posted @ 2024-05-18 22:14 荣锋亮 阅读(1) 评论(0) 推荐(0) 编辑

dbt Relation check_schema_exists 一个有意思的功能

摘要: dbt 内部总有一些隐藏的小细节,官方文档没有说明,但是在一些adapter 实现中包含,一些是关于check_schema_exists 的一些说明 内部处理 dbt/adapters/sql/impl.py def check_schema_exists(self, database: str, 阅读全文

posted @ 2024-05-18 06:08 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年5月17日

dbt model 对象简单说明

摘要: dbt model 属于graph 对象,实际上就是一个node 节点,包含了当前模型的一些信息 主要场景 访问config 设置 访问模型的路径 参考使用 查看模型内容 可以通过log macro {{ log(model, info=True) }} 内部实现 实际上就是context 属性信息 阅读全文

posted @ 2024-05-17 06:26 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年5月16日

dbt 单元测试简单说明

摘要: dbt 对于测试的支持包含了数据测试以及单元测试, 数据测试可以保证表的质量,但是单元测试可以确保模型的业务一致性 简单说明 当前只支持模型的 只支持当前项目的单元测试 除非声明多版本也会进行测试 单元测试只能在models 目录下 yaml 格式的 如果希望依赖ephemeral 模型需要配置fo 阅读全文

posted @ 2024-05-16 06:43 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年5月15日

dremio 的SourceCapabilities 能力简单说明

摘要: SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用,以下简单说明下 SourceCapabilities 类定义 每个存储扩展的实现都有一个getSourceCapabilities 的方法,具体SourceCapabilities 阅读全文

posted @ 2024-05-15 07:56 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年5月14日

dbt render macro 简单说明

摘要: dbt render macro 官方文档并没有说明,但是在一些三方adapter 中发现有使用到简单说明下 参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

posted @ 2024-05-14 08:00 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

2024年5月13日

dbt 默认snapshot snapshot_staging_table 处理简单说明

摘要: dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表,了解内部处理有利于学习快照处理技术 macro 定义 内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较,会处理添加的,删除的,以及交集数据,dbt 使用了自己的支持key 阅读全文

posted @ 2024-05-13 00:30 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年5月12日

创建一个不带认证的jenkins环境

摘要: 对于jenkins 禁用认证的方法很多,大家可能经常看到的是先启动,然后禁用认证模式的,实际上jenkins 有一些可配置参数进行不带认证环境的直接开启 禁用配置模式的 首先启动,然后修改jenkins home 中的config.xml <?xml version='1.1' encoding=' 阅读全文

posted @ 2024-05-12 06:56 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

jenkins maven-hpi-plugin 插件run 内部处理简单说明

摘要: jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin,提供了打包,测试,以及本地运行的能力,以下简单说明下 关于run 命令的处理 内部处理 实现上hpi:run 命令复用了jetty maven 插件的一些能力,对于我们提供了 阅读全文

posted @ 2024-05-12 06:56 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dbt config macro 简单说明

摘要: dbt 不少资源类型都支持config macro 的使用,可以进行灵活的配置管理 参考使用 配置 模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

posted @ 2024-05-12 06:51 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年5月11日

jenkins plugin 开发简单说明

摘要: 属于一个简单的学习,基于了官方提供的脚手架,运行一个简单测试插件,了解下开发流程 基于脚手架的简单项目 创建 使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

posted @ 2024-05-11 11:27 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dbt snapshot 处理简单说明

摘要: dbt 的snapshot 实际上也是一种物化处理,支持与test,docs,稍有不同就是dbt 没定义独立的block 扩展,以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型 使用 包含了配置以及snapshot 定义,配置支持dbt_project 项目级以及独立sn 阅读全文

posted @ 2024-05-11 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年5月10日

dbt dbt_external_tables 包简单说明

摘要: dbt dbt_external_tables 提供了在source 中使用外部table 的能力,主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析,dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table,schem 阅读全文

posted @ 2024-05-10 19:37 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建

摘要: 实际上属于一个测试,尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的,同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:37 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

dbt fromyaml 上下文方法简单说明

摘要: fromyaml 上下文方法可以用来加载yaml 内容,属于一个工具类,比如automate-dv 就使用了不少方法 参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

posted @ 2024-05-10 16:25 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

dbt macro 中获取relation 的几种方法

摘要: 很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息,方便数据的写入,或者进行查询 实现动态能力,尤其在进行数据质量方便的处理时候,以下简单说明下一些可选的方法 参考方法 直接使用api.Relation.create 创建新的 如果知道一些信息(da 阅读全文

posted @ 2024-05-10 12:57 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

dremio CatalogMaintenanceService 服务简单说明

摘要: 说明此服务是从25.0 开始包含的,同时在release note 中也有说明,以下主要说明下内部实现 release 信息 如下,具体就不翻译了,主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2024年5月9日

dbt plugin 系统简单说明

摘要: dbt 实际上提供了一个plugin 架构(属于扩展与adapter 的plugin 机制是不一样的)只是目前官方缺少文档的说明 以下是一些简单说明 内部处理 插件接口定义 目前相对简单,只提供了核心是3个方法initialize,get_nodes,get_manifest_artifacts c 阅读全文

posted @ 2024-05-09 11:58 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dremio-stress dremio 压力测试工具

摘要: dremio-stress 是基于rest 埃及jdbc 的dremio 压力测试工具,实现上相对简单,并不是比较复杂的东西,可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的,实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

posted @ 2024-05-09 11:57 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

japicmp jar 文件比较工具

摘要: japicmp 是一个比较强大的工具,可以方便的进行jar 文件的比较,同时提供各类输出格式,java class 解析上使用了javassist同时我们配置jar 的classpath,进行完整比较,也可以忽略,japicmp 也提供了maven plugin 可以方便使用,如果希望在系统中集成我 阅读全文

posted @ 2024-05-09 00:07 荣锋亮 阅读(25) 评论(0) 推荐(0) 编辑

dbt flags 简单说明二

摘要: 以前简单说过,实际上dbt 的flags 提供的参数还是不少的 参考内容 一个参考内容 可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

posted @ 2024-05-09 00:04 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

2024年5月8日

ssl check 工具以及参考命令

摘要: 有时我们希望对于ssl 进行一些信息的查看,以下是一些工具,以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

posted @ 2024-05-08 16:53 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

dremio dbt 升级到1.7 版本了

摘要: 就在最近dremio dbt 包升级到1.7了,兼容dbt -core 1.7 特性了,以前是基于1.5的 说明 dbt 新版本还是有不少新特性的,对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

posted @ 2024-05-08 11:58 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

dbt on_configuration_change 简单说明

摘要: dbt on_configuration_change 目前主要是在处理物化视图中,on_configuration_change 包含了三类设置 参考设置 apply 是默认参数,尝试进行更新存在的数据库对象 continue 允许继续运行,但是提供一个警告 fail 如果捕捉到变动就失败 参考使 阅读全文

posted @ 2024-05-08 11:58 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

dremio 新的logback 日志配置自动reload 功能简单说明

摘要: dremio 25.0 版本对于logback 的日志配置支持自动reload 了,不需要重启服务了,功能上看似乎很高级,实际上只是利用了logback 的能力,以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

posted @ 2024-05-08 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2024年5月7日

dremio dbt 集成nessie分支扩展说明

摘要: dremio dbt 的集成我以前简单说过玩法,同时与nessie 的集成也有说明过(主要是关于配置以及简单使用的) 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发,而且不需要多份数据,可以使用 阅读全文

posted @ 2024-05-07 09:43 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dremio AuthProvider 简单说明

摘要: AuthProvider 是在authenticator 模块中提供的接口定义,目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

posted @ 2024-05-07 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

2024年5月6日

dbt relation 包含的一些额外方法简单说明

摘要: 在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法,以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation,InformationSchema 类以及各种基于BaseRelation 阅读全文

posted @ 2024-05-06 07:35 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

git-commit-id-maven-plugin 插件使用

摘要: git-commit-id maven-plugin 是一个比较有意思的插件,可以提供一些git 详细相关的元数据信息到jar 包中,这样有利于我们分析 业务问题(里边包含了git commitid,分支,提交人,提交日志等信息),以下是一个简单试用 项目准备 一个多模块项目 父pom.xml <? 阅读全文

posted @ 2024-05-06 07:27 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

2024年5月5日

dremio UserService 简单说明

摘要: 以前是简单说明过dremio 的UserService ,dremio 实际上支持内部以及外部用户的玩法 类图 可以看到,包含了simple 以及executor 两个,同时实现了UserServiceEvents 支持发布订阅能力的接口(订阅是25.0 版本的) executor 的实现实际上是为 阅读全文

posted @ 2024-05-05 08:00 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

导航