荣锋亮 - 博客园

jenkins docker 开启debug 简单说明

摘要： jenkins docker 镜像为了方便调试，已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理，以下是一个简单使用参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文

posted @ 2024-05-18 22:13 荣锋亮阅读(151) 评论(0) 推荐(0)

dbt Relation check_schema_exists 一个有意思的功能

摘要： dbt 内部总有一些隐藏的小细节，官方文档没有说明，但是在一些adapter 实现中包含，一些是关于check_schema_exists 的一些说明内部处理 dbt/adapters/sql/impl.py def check_schema_exists(self, database: str, 阅读全文

posted @ 2024-05-18 06:07 荣锋亮阅读(27) 评论(0) 推荐(0)

dbt model 对象简单说明

摘要： dbt model 属于graph 对象，实际上就是一个node 节点，包含了当前模型的一些信息主要场景访问config 设置访问模型的路径参考使用查看模型内容可以通过log macro {{ log(model, info=True) }} 内部实现实际上就是context 属性信息阅读全文

posted @ 2024-05-17 06:26 荣锋亮阅读(39) 评论(0) 推荐(0)

dbt 单元测试简单说明

摘要： dbt 对于测试的支持包含了数据测试以及单元测试, 数据测试可以保证表的质量，但是单元测试可以确保模型的业务一致性简单说明当前只支持模型的只支持当前项目的单元测试除非声明多版本也会进行测试单元测试只能在models 目录下 yaml 格式的如果希望依赖ephemeral 模型需要配置fo 阅读全文

posted @ 2024-05-16 06:42 荣锋亮阅读(101) 评论(0) 推荐(0)

dremio 的SourceCapabilities 能力简单说明

摘要： SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

posted @ 2024-05-15 07:56 荣锋亮阅读(55) 评论(0) 推荐(0)

dbt render macro 简单说明

摘要： dbt render macro 官方文档并没有说明，但是在一些三方adapter 中发现有使用到简单说明下参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

posted @ 2024-05-14 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

dbt 默认snapshot snapshot_staging_table 处理简单说明

摘要： dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表，了解内部处理有利于学习快照处理技术 macro 定义内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较，会处理添加的，删除的，以及交集数据，dbt 使用了自己的支持key 阅读全文

posted @ 2024-05-13 00:30 荣锋亮阅读(43) 评论(0) 推荐(0)

创建一个不带认证的jenkins环境

摘要：对于jenkins 禁用认证的方法很多，大家可能经常看到的是先启动，然后禁用认证模式的,实际上jenkins 有一些可配置参数进行不带认证环境的直接开启禁用配置模式的首先启动，然后修改jenkins home 中的config.xml <?xml version='1.1' encoding=' 阅读全文

posted @ 2024-05-12 06:56 荣锋亮阅读(55) 评论(0) 推荐(0)

jenkins maven-hpi-plugin 插件run 内部处理简单说明

摘要： jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin，提供了打包，测试，以及本地运行的能力，以下简单说明下关于run 命令的处理内部处理实现上hpi:run 命令复用了jetty maven 插件的一些能力，对于我们提供了阅读全文

posted @ 2024-05-12 06:55 荣锋亮阅读(198) 评论(0) 推荐(0)

dbt config macro 简单说明

摘要： dbt 不少资源类型都支持config macro 的使用，可以进行灵活的配置管理参考使用配置模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

posted @ 2024-05-12 06:51 荣锋亮阅读(52) 评论(0) 推荐(0)

jenkins plugin 开发简单说明

摘要：属于一个简单的学习，基于了官方提供的脚手架，运行一个简单测试插件，了解下开发流程基于脚手架的简单项目创建使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

posted @ 2024-05-11 11:27 荣锋亮阅读(72) 评论(0) 推荐(0)

dbt snapshot 处理简单说明

摘要： dbt 的snapshot 实际上也是一种物化处理，支持与test，docs，稍有不同就是dbt 没定义独立的block 扩展，以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型使用包含了配置以及snapshot 定义，配置支持dbt_project 项目级以及独立sn 阅读全文

posted @ 2024-05-11 08:00 荣锋亮阅读(82) 评论(0) 推荐(0)

dbt dbt_external_tables 包简单说明

摘要： dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理比如创建table，schem 阅读全文

posted @ 2024-05-10 19:37 荣锋亮阅读(57) 评论(0) 推荐(0)

jetbrains gateway + gitpod 进行dremio 构建

摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发构建命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮阅读(83) 评论(0) 推荐(0)

dbt fromyaml 上下文方法简单说明

摘要： fromyaml 上下文方法可以用来加载yaml 内容，属于一个工具类，比如automate-dv 就使用了不少方法参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

posted @ 2024-05-10 16:25 荣锋亮阅读(27) 评论(0) 推荐(0)

dbt macro 中获取relation 的几种方法

摘要：很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息，方便数据的写入，或者进行查询实现动态能力，尤其在进行数据质量方便的处理时候，以下简单说明下一些可选的方法参考方法直接使用api.Relation.create 创建新的如果知道一些信息（da 阅读全文

posted @ 2024-05-10 12:57 荣锋亮阅读(40) 评论(0) 推荐(0)

dremio CatalogMaintenanceService 服务简单说明

摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮阅读(28) 评论(0) 推荐(0)

dbt plugin 系统简单说明

摘要： dbt 实际上提供了一个plugin 架构（属于扩展与adapter 的plugin 机制是不一样的）只是目前官方缺少文档的说明以下是一些简单说明内部处理插件接口定义目前相对简单，只提供了核心是3个方法initialize，get_nodes，get_manifest_artifacts c 阅读全文

posted @ 2024-05-09 11:57 荣锋亮阅读(41) 评论(0) 推荐(0)

dremio-stress dremio 压力测试工具

摘要： dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来说明此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更阅读全文

posted @ 2024-05-09 11:57 荣锋亮阅读(91) 评论(0) 推荐(0)

japicmp jar 文件比较工具

摘要： japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我阅读全文

posted @ 2024-05-09 00:07 荣锋亮阅读(521) 评论(0) 推荐(0)

dbt flags 简单说明二

摘要：以前简单说过，实际上dbt 的flags 提供的参数还是不少的参考内容一个参考内容可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

posted @ 2024-05-09 00:04 荣锋亮阅读(35) 评论(0) 推荐(0)

ssl check 工具以及参考命令

摘要：有时我们希望对于ssl 进行一些信息的查看，以下是一些工具，以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

posted @ 2024-05-08 16:52 荣锋亮阅读(84) 评论(0) 推荐(0)

dremio dbt 升级到1.7 版本了

摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

posted @ 2024-05-08 11:58 荣锋亮阅读(41) 评论(0) 推荐(0)

dbt on_configuration_change 简单说明

摘要： dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败参考使阅读全文

posted @ 2024-05-08 11:57 荣锋亮阅读(42) 评论(0) 推荐(0)

dremio 新的logback 日志配置自动reload 功能简单说明

摘要： dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

posted @ 2024-05-08 08:00 荣锋亮阅读(47) 评论(0) 推荐(0)

dremio dbt 集成nessie分支扩展说明

摘要： dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的）以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用阅读全文

posted @ 2024-05-07 09:43 荣锋亮阅读(43) 评论(0) 推荐(0)

dremio AuthProvider 简单说明

摘要： AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区阅读全文

posted @ 2024-05-07 08:00 荣锋亮阅读(26) 评论(0) 推荐(0)

dbt relation 包含的一些额外方法简单说明

摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

posted @ 2024-05-06 07:35 荣锋亮阅读(25) 评论(0) 推荐(0)

git-commit-id-maven-plugin 插件使用

摘要： git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用项目准备一个多模块项目父pom.xml <? 阅读全文

posted @ 2024-05-06 07:26 荣锋亮阅读(597) 评论(0) 推荐(0)

dremio UserService 简单说明

摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法类图可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为阅读全文

posted @ 2024-05-05 08:00 荣锋亮阅读(26) 评论(0) 推荐(0)

cryostat jvm 容器化环境安全的jfr管理工具

摘要： cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持数据gr 阅读全文

posted @ 2024-05-04 16:12 荣锋亮阅读(48) 评论(0) 推荐(0)

dremio 数据集自动提升处理简单说明

摘要： dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

posted @ 2024-05-04 08:00 荣锋亮阅读(52) 评论(0) 推荐(0)

dbt show 内部实现简单说明

摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理参考实现核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

posted @ 2024-05-04 00:24 荣锋亮阅读(50) 评论(0) 推荐(0)

dbt 一些默认可以扩展的macro

摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的）系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中几个参考定义以下这几个是留给了具体adapter 实现进行扩展（有阅读全文

posted @ 2024-05-04 00:24 荣锋亮阅读(40) 评论(0) 推荐(0)

dbt show 命令处理简单说明

摘要： dbt show 主要做以下事情内部处理编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型在dw 中执行查询在终端中预览结果备注：默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

posted @ 2024-05-03 07:23 荣锋亮阅读(29) 评论(0) 推荐(0)

dremio 读取 jsonl 格式支持

摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理直接修改JSONFormatPlugin 代码支持jsonl 参考阅读全文

posted @ 2024-05-02 11:31 荣锋亮阅读(43) 评论(0) 推荐(0)

dbt docs 解析的替换方案

摘要： supercharged-dbt-docs 是dagster 基于dbt-docs 以及next.js 进行重写的dbt docs 解析以及渲染服务，加速速度很不错，官方有比较对于大型dbt项目加速速度比较慢的可以试用下参考资料 https://github.com/dbt-labs/dbt-do 阅读全文

posted @ 2024-05-02 08:00 荣锋亮阅读(37) 评论(0) 推荐(0)

dbt 自定义AdapterPlugin 中dependencies 简单说明

摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

posted @ 2024-05-01 08:39 荣锋亮阅读(35) 评论(0) 推荐(0)

dbt 自定义schema 简单说明

摘要： dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情使用场景模型级别的schema自定义 seed 数据schema自定义不同env 或者vars 的schema 自定义不同target schema 的自定义 schema 自定义核心是generate_sch 阅读全文

posted @ 2024-05-01 08:38 荣锋亮阅读(107) 评论(0) 推荐(0)

dbt Relation 扩展简单说明

摘要： dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中阅读全文

posted @ 2024-05-01 08:37 荣锋亮阅读(33) 评论(0) 推荐(0)

导航

公告