荣锋亮 - 博客园

dbt yaml selector 简单说明

摘要： dbt 基于yaml 的selector 实际上就是一个yaml 格式文件，我们在运行的时候可以指定一个配置好的selector 文件，这样实际运行的时候就比较方便了主要作用清晰方便版本控制可重用参考使用配置 selectors.yml selectors: - name: night 阅读全文

posted @ 2024-06-13 06:15 荣锋亮阅读(57) 评论(0) 推荐(0)

dbt seed 配置简单说明

摘要： dbt 的seed是进行一些初始化数据建模的，可以方便测试，或者在一些场景提供基础数据，dbt 对于seed 支持不少配置，比如seed 的schema 位置，csv 分隔符处理，seed 中数据类型定义，当然还有一些dbt 的通用配置（比如tag，meta，tests）,我以前简单说明过seed 阅读全文

posted @ 2024-06-12 05:38 荣锋亮阅读(92) 评论(0) 推荐(0)

dbt select支持的方法简单说明

摘要：对于一个大型的dbt 项目，我进行按需选择模型还是很重要的，dbt 基于select 可以支持多样的选择方法支持的模式 tag 模式 dbt run --select "tag:nightly" source 模式 dbt run --select "source:snowplow+" 资源类型模阅读全文

posted @ 2024-06-11 06:10 荣锋亮阅读(77) 评论(0) 推荐(0)

ollama gpu 集成测试qwen2 7b 模型

摘要：昨天测试了下基于ollama cpu 模式运行的qwen2 对于小参数0.5b 以及1.5b 的速度还行，但是你的cpu 核数以及内存还是需要大一些今天测试下基于gpu 的qwen2 7b 模型，以下简单说明下安装ollama 如果我们申请的机器包含了GPU，ollama 的安装cli 还是比较阅读全文

posted @ 2024-06-10 08:24 荣锋亮阅读(1346) 评论(0) 推荐(0)

ollama qwen2 运行&openai 兼容api 测试

摘要： qwen2 模型已经发布了，各种新闻都说很不错，所以通过ollama 测试下安装ollama cli curl -fsSL https://ollama.com/install.sh | sh 启动服务 ollama serve 拉取qwen2:1.5b 模型使用了api 模式 cli curl 阅读全文

posted @ 2024-06-10 08:24 荣锋亮阅读(3643) 评论(5) 推荐(0)

dbt macro kwargs 参考的使用

摘要：从机制上实际上属于jinja2 的功能，可以实现灵活的扩展能力 jinja2 macro 提供的几个变量 varargs 就类似python 的var 变量 kwargs 是实现了keywords 参数的变量，可以获取传递的keyword 信息（实际上就是一个字典） caller 是在使用call 阅读全文

posted @ 2024-06-10 07:13 荣锋亮阅读(45) 评论(0) 推荐(0)

dbt exceptions 简单说明二

摘要：以前对于dbt 提供的exceptions namespace 方法进行了说明，实际是dbt 对于exceptions 细化的还是比较明确的，以前没详细说明当前包含的exceptions 信息 exceptions_jinja.py CONTEXT_EXPORTS = { fn.__name__: 阅读全文

posted @ 2024-06-09 07:07 荣锋亮阅读(31) 评论(0) 推荐(0)

luax 基于lua 5.4 的解释器&支持通过lua script 构建可执行文件

摘要： luax 基于lua 5.4 的解释器&支持通过lua script 构建可执行文件，内部luax 使用了不少技术，比如使用了ezig，Lpeg，luasocket，LZ4，dkjson 说明对于luax 复用了不少现有的包，内置到里边了，还是比较全的，后边体验下参考资料 https://git 阅读全文

posted @ 2024-06-08 12:32 荣锋亮阅读(117) 评论(0) 推荐(0)

通过site 包加载egg 或者whl pcakge 包并动态调用模块方法

摘要：以前简单说过通过sys.path 进行egg 文件模块的加载，实际上我们可以结合site 以及.pth 能力，实现灵活的加载处理，同时通过 importlib 进行动态加载，以下是一个简单说明加载配置通过site 包，添加自定义目录，目录里边包含 .pth 配置目录结构 .pth 内容使用阅读全文

posted @ 2024-06-08 12:32 荣锋亮阅读(49) 评论(0) 推荐(0)

dbt graph 上下文变量简单说明

摘要： dbt graph 上下文变量，包含了dbt 项目相关的nodes 信息（比如model，source，metrics，macros，tests，snapshots）因为dbt 包含了不同的处理阶段，实际如果希望获取graph context 中的一些nodes 信息，注意执行的阶段，一般建议的玩阅读全文

posted @ 2024-06-08 08:00 荣锋亮阅读(53) 评论(0) 推荐(0)

dbterd 基于dbt artifacts 生成ERD 代码的工具

摘要： dbterd 基于dbt artifacts 生成ERD 代码的工具，内部是通过dbt-artifacts-parser 对于dbt 项目的元数据进行解析当然看到部分可能会使用dbt-core 的cli 包含的一些特性支持多种模型格式的target 包含了dbml，mermaid，plant目录，阅读全文

posted @ 2024-06-07 08:00 荣锋亮阅读(44) 评论(0) 推荐(0)

ibis python dataframe 库

摘要： ibis是一个 python dataframe 库包含的特性对 20 多个后端使用相同的 API 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧修改一行代码即可本地迭代、远程部署编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之阅读全文

posted @ 2024-06-06 08:00 荣锋亮阅读(191) 评论(0) 推荐(0)

python 生成uber egg 的几个工具

摘要：有些时候我们为了方便python 模块的分发，会有类似java uber jar的需求，社区已经有一些不错的可选工具，以下说明下 uberegg 这个工具scrapy-client 中的deploy 就使用了此工具，对于依赖的构建我们制定配置就可以了python setup.py bdist_ube 阅读全文

posted @ 2024-06-05 21:47 荣锋亮阅读(34) 评论(0) 推荐(0)

python 直接加载egg 文件的模块

摘要：主要作为一个简单记录参考示例文件模式 import sys import os egg_path = os.path.join(os.path.dirname(__file__), 'dist', 'mydalong-0.1-py3.11.egg') sys.path.append(egg_pa 阅读全文

posted @ 2024-06-05 21:45 荣锋亮阅读(102) 评论(0) 推荐(0)

mvn 运行java 应用

摘要：一般我们可能都是使用的idea 工具，但是有时ide 工具可能不那么方便，可能就需要直接使用基于maven exec 插件的，以下是一个使用的简单说明 exec 插件参考配置项目结构直接运行 mvn compile exec:java -Dexec.mainClass="com.dalong. 阅读全文

posted @ 2024-06-05 11:06 荣锋亮阅读(109) 评论(0) 推荐(0)

dremio 队列类型判断处理简单说明

摘要：使用过dremio 的基本都支持dremio 包含了一个队列的概念,以下简单说明下dremio 对于队列判断的处理目前定义的队列类型 public enum QueueType { // TODO figure out split between capacities for below queu 阅读全文

posted @ 2024-06-05 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

从源码看dbt-loom 是如何开发dbt plugin的

摘要：以前简单介绍过dbt plugin 有一套明确的格式，实际上与dbt adapter 套路是类似的，以下从源码角度看看dbt-loom 的设计 dbt-loom 参考架构从此图可以看出，dbt-loom 可以从其他地方获取dbt 的元数据（dbt cloud，本地文件，对象存储），之后基于此插件结阅读全文

posted @ 2024-06-04 07:32 荣锋亮阅读(67) 评论(0) 推荐(0)

dremio FormatPlugin 设计上的一些限制-基于easy format 框架

摘要：对于FormatPlugin 我以前也零碎的介绍过一些，会和FormatCreator， FormatMatcher 存储插件等都有一些关系，核心主要还是对于文件系统的格式处理，今天我在基于easy format 框架自定义开发jsonline 格式化插件的时候发现目前dremio 对于支持的文阅读全文

posted @ 2024-06-03 06:41 荣锋亮阅读(37) 评论(0) 推荐(0)

dbt adapter dispatch 处理简单说明

摘要：以前是结合使用对于adapter 的dispatch 有过简单说明，以下结合源码分析下内部参考处理参考处理 def dispatch( self, macro_name: str, macro_namespace: Optional[str] = None, packages: Optional 阅读全文

posted @ 2024-06-02 08:00 荣锋亮阅读(48) 评论(0) 推荐(0)

dbt dbt-audit-helper 包compare_relation_columns 处理简单说明

摘要： dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断参考使用我按照test 处理的，同时进行的测试异常进行存储使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

posted @ 2024-06-01 07:35 荣锋亮阅读(38) 评论(0) 推荐(0)

dbt dbt_utils 包中的pivot简单说明

摘要： dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式参考实现 {% macro pivot(c 阅读全文

posted @ 2024-05-31 08:00 荣锋亮阅读(56) 评论(0) 推荐(0)

dremio 系统内部插件

摘要： dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称目前系统内部插件目前包含了如下几个，可以通过启动日志看出来系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

posted @ 2024-05-30 08:00 荣锋亮阅读(53) 评论(0) 推荐(0)

dremio DatasetListingService 服务简单说明二

摘要：以前简单介绍过DatasetListingService，以下再说明下创建是通过DACDaemonModule 创建的参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

posted @ 2024-05-29 04:38 荣锋亮阅读(25) 评论(0) 推荐(0)

dbt dbt-codegen 包简单说明

摘要： dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型目前包含的macro generate_source source 类的生成source 信息，实际上就是生成source 的yaml 文件参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

posted @ 2024-05-28 08:00 荣锋亮阅读(80) 评论(0) 推荐(0)

changie 简单试用

摘要： changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用安装可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

posted @ 2024-05-27 08:00 荣锋亮阅读(31) 评论(0) 推荐(0)

dremio nginx proxy 问题简单说明二

摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明配置核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

posted @ 2024-05-26 17:21 荣锋亮阅读(25) 评论(0) 推荐(0)

changie 预处理release changelog 工具

摘要： changie 提供了比较友好的changelogs 说明 changelog 的一些原则记住日志是写给人而非机器的每个版本都应该有独立的入口同类改动应该分组放置不同版本应分别设置链接新版本在前，旧版本在后应包括每个版本的发布日期注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

posted @ 2024-05-26 08:00 荣锋亮阅读(61) 评论(0) 推荐(0)

aws jsii 基于js 实现跨语言交互的编译器

摘要： jsii aws 开源的，让我们可以基于js 实现跨语言交互的编译器，我们可以基于ts开发功能，然后通过编译器jsii可以实现其他语言的通信，目前支持C#，golang，java，python runtime 参考架构如下图说明从架构上我们可以看出jsii 的通信是基于了标准输入输出的处理，实阅读全文

posted @ 2024-05-25 08:00 荣锋亮阅读(106) 评论(0) 推荐(0)

dremio nginx proxy 问题简单说明

摘要： dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法环境准备 docker-compose version: "3" services: n 阅读全文

posted @ 2024-05-24 17:09 荣锋亮阅读(47) 评论(0) 推荐(0)

dbt var 简单说明

摘要： dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下参考使用引用定义的参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

posted @ 2024-05-24 08:00 荣锋亮阅读(64) 评论(0) 推荐(0)

dbt get_materialized_view_configuration_changes 简单说明

摘要： dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理物化视图的，以下说明下内部实现内部处理默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

posted @ 2024-05-23 07:02 荣锋亮阅读(34) 评论(0) 推荐(0)

dbt sql_header 简单说明

摘要： dbt 有一个query_heder 也有一个sql_header，与pre_hooks 有类似的能力，但是sql_header 是与sql 的create table as 以及create view as 是一起执行的，而且是在之前的参考使用模型定义 {{ config( sql_heade 阅读全文

posted @ 2024-05-22 08:00 荣锋亮阅读(38) 评论(0) 推荐(0)

url-pattern 一个不错的url 模式解析包

摘要： url-pattern 是一个很不错的url 模式解析包，可以方便的进行url 解析（类似我们web 框架的路由处理）可以用来实现方便的url 解析处理因为很多时候我们需要获取url 的部分信息，基于正则是可以的，但是url-pattern 提供了比较灵活的模式匹配是一个很不错的工具包参考使用阅读全文

posted @ 2024-05-21 17:24 荣锋亮阅读(90) 评论(0) 推荐(0)

sqids hashids 的升级版

摘要： sqids 是hashids 的升级版，提供了不少新功能，但是与hashids是不兼容的包含的特性生成短id 方便编码以及解码自动生成id 支持通过自定义大阮的字母生成id 每个版本可以生成唯一的id 支持blocklist 使用场景主键编码保存数据库查找临时登陆token 不适合的场景阅读全文

posted @ 2024-05-21 17:24 荣锋亮阅读(155) 评论(0) 推荐(0)

dbt adapter get_incremental_strategy_macro 简单说明

摘要： dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称，可以参考我以前写的一些使用目前就是应用在dbt 的增量场景中增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

posted @ 2024-05-21 08:00 荣锋亮阅读(29) 评论(0) 推荐(0)

dbt adapter expand_target_column_types 简单说明

摘要： adapter expand_target_column_types 核心作用是进行关系的展开对比，确定我们的模型是否需要进行提升（实际上就是数据类型变动）此功能目前在dbt 的快照以及增量物化场景中使用到参考使用简单示例 {% set tmp_relation = adapter.get_r 阅读全文

posted @ 2024-05-20 07:31 荣锋亮阅读(43) 评论(0) 推荐(0)

dbt adapter 的get_relation 简单说明

摘要： dbt 的adapter.get_relation 可以方便的获取存在的relation 信息，以下是一个简单说明参考实现内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifie 阅读全文

posted @ 2024-05-19 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

puppeteer使用一些技巧简单说明

摘要： puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式以下是对于puppeteer使用的一些简单总结一些问题 browser && page 对象复用问题实际上还是结合实际，个人建议减少复阅读全文

posted @ 2024-05-18 22:25 荣锋亮阅读(159) 评论(0) 推荐(0)

puppeteer localstorage 处理简单说明

摘要： puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示环境准备基于了browserless（使用了v2版本，注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮阅读(540) 评论(0) 推荐(0)

dremio 分布式存储docker配置简单说明

摘要：对于dremio 分布式存储的配置我们直接修改配置文件，当然基于环境变量参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

posted @ 2024-05-18 22:18 荣锋亮阅读(73) 评论(0) 推荐(0)

导航

公告