荣锋亮 - 博客园

dremio opentelemetry监控试用

摘要：标准的系统监控应该包含metrics，trace，log 这个三大类，metrics 部分，包含了一个promethues 的扩展，当然官方也支持jmx以及slf4j的 opentelemetry 是一个直接内置的trace 功能，很不错，以下是一个简单的测试环境准备 dremio 默认就支持op 阅读全文

posted @ 2024-01-19 17:15 荣锋亮阅读(74) 评论(0) 推荐(0)

postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具

摘要： postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具，比较有意思使用到的一些包 runtime v86的一个模拟器 buildroot 脚本，方便构建一个在v86 中运行的cpu 以及内存快照 websockproxy 网络工具说明官方也提供了一阅读全文

posted @ 2024-01-19 14:41 荣锋亮阅读(46) 评论(0) 推荐(0)

dremio ui 数据源插件加载处理简单说明

摘要： dremio 开发数据源扩展，基本包含了数据库，元数据类的，对象存储的，以及catalog 的，实际上开发扩展不算太难默认开发的扩展直接放jars 文件夹就可以了，但是目前新版本我们会发现隐藏了一个opensearch 的插件，这个插件需要通过配置开启，plugins.jdbc.opensear 阅读全文

posted @ 2024-01-19 13:57 荣锋亮阅读(52) 评论(0) 推荐(0)

dremio 基于Options注解的配置技巧

摘要：以前简单写过一个dremio 配置相关的介绍，以下是一个简单的使用原理 dremio 自己定义了一个Options 的注解，包含此注解的类会被启动的时候进行类扫描加载，Options 的会存储起来（分为不用类型的）有session 级别的，系统级别的。。。。简单使用 pom.xml <?xml 阅读全文

posted @ 2024-01-19 10:24 荣锋亮阅读(36) 评论(0) 推荐(0)

snaplet 一个强大的类似产品数据的生成工具

摘要：以前简单介绍过一个数据生成工具synth，snaplet 是一个类似的工具，但是设计上比较有意思，synth 是基于了schemasnaplet 使用了快照，以及基于ai 的数据生成模式，当然还包含了一种种子数据生成的模式包含的特性种子数据对于现有的数据库使用快照模式生成数据恢复对于clo 阅读全文

posted @ 2024-01-18 11:19 荣锋亮阅读(61) 评论(0) 推荐(0)

spring boot 3.2.1 dremio jdbc jprofiler 集成

摘要： jprofiler 可以直接与idea 集成，对于分析一些实际需要debug 但是不好复现的问题还是比较方便的，以下是一个简单的与 dremio 集成的，spring boot 使用了3.2 （jdk 需要17）同时也会包含一些启动说明安装idea 插件直接plugins 的市场中搜索安装就可以阅读全文

posted @ 2024-01-18 10:35 荣锋亮阅读(91) 评论(0) 推荐(0)

dremio nessie 版本持久化配置简单说明

摘要： dremio 对于nessie 的使用就是一个插件配置，默认基于docker运行的nessie 是没有进行版本持久化的，以下是一个简单说明配置参考我基于了pg，实际支持的存储引擎还是很多的 docker-compose version: "3" services: mysql2: image: 阅读全文

posted @ 2024-01-17 15:09 荣锋亮阅读(47) 评论(0) 推荐(0)

dremio jdbc 访问最好使用链接池工具

摘要：昨天在碰到一个dremio jdbc 比较奇怪的问题，按照了标准的jdbc 操作（建立链接，创建Statement，处理数据，关闭Statement，关闭连接）当进行多次执行（多次建立连接操作）发现dremio 有一个操作异常，造成数据表创建有问题（事务不完整）参考代码 private stat 阅读全文

posted @ 2024-01-17 10:43 荣锋亮阅读(140) 评论(0) 推荐(0)

dremio 测试特性api 的开启&外部profile查看

摘要：以前简单说过基于代码修改开启test 的外部profile 能力，实际上官方是由配置参数的，可以在启动的时候添加到配置中配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧使用arthas 命令使用了arthas的vmt 阅读全文

posted @ 2024-01-16 15:27 荣锋亮阅读(44) 评论(0) 推荐(0)

arthas 查看变量值的几种方式

摘要：很多时候我们包含了一些变量，需要check 变量的值，arthas 提供了几种方法通过ognl ognl 是一个强大的功能，可以看一些变量信息，比如静态类，静态字段的参考使用 ognl '@java.lang.System@out.println("hello")' 通过vmtool vmtoo 阅读全文

posted @ 2024-01-16 15:24 荣锋亮阅读(2898) 评论(0) 推荐(0)

synth 简单试用

摘要：以下是一个简单的试用，主要是体验下synth 的功能安装我使用的mac 系统，其他系统按照官方文档操作 curl --proto '=https' --tlsv1.2 -sSL https://getsynth.com/install | sh 项目创建创建文件夹 mkdir first 创建阅读全文

posted @ 2024-01-16 11:53 荣锋亮阅读(85) 评论(0) 推荐(0)

synth 声明式数据生成工具

摘要： synth 是由shuttle 团队开发的一个基于rust 编写的声明式数据生成工具应用场景数据隐藏隐藏敏感的产品数据，帮助我们生成比较符合生成场景的数据种子数据初始化基于ci 的测试，开发环境数据生成，方便持续集成基于自定义的规范，生成逼真的数据可以基于约束，关系，生成逼真的数据说阅读全文

posted @ 2024-01-16 11:07 荣锋亮阅读(75) 评论(0) 推荐(0)

cachex elixir 强大的缓存框架

摘要： cachex 是一个强大的elixir cache 库，提供了事务，fallback，以及过期等基本能力包含的特性 TTL 最大大小限制 pre、post 执行hooks 事务以及row 锁异步写操作分布式同步本地文件系统 streaming cache 批量写用户命令调用统计信息参考阅读全文

posted @ 2024-01-16 09:50 荣锋亮阅读(88) 评论(0) 推荐(0)

elixir before_compile && on_definition 简单使用

摘要： elixir 提供了一些方便的模块属性，可以让我们方便的进行elixir 的扩展（尤其是进行元编程的时候）比如elixir_agent 就使用到了before_compile以及on_definition ，方便进行trace 的处理 on_definition 的简单使用参考demo 内容来自阅读全文

posted @ 2024-01-15 10:28 荣锋亮阅读(21) 评论(0) 推荐(0)

sqlglot python sql 解析以及翻译工具

摘要： sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具，功能还是比较强大的支持20多种sql 方言的格式化以及翻译，sqlmesh 就使用了此工具包，当然相比其他一些工具，性能也是很不错的参考资料 https://github.com/tobymao/ 阅读全文

posted @ 2024-01-15 09:22 荣锋亮阅读(1811) 评论(0) 推荐(0)

sqlmesh 类似dbt 的工具

摘要： sqlmesh 是一个类似dbt 的工具，目前没有dbt 热度高，但是也提供了一些不错的周边一些比较不错的功能点 open sosurce ui 列级别的血缘 native notebook 支持多仓库支持 sql 转译开源ci/cd bot 虚拟数据环境原生airflow 集成 data 阅读全文

posted @ 2024-01-15 09:13 荣锋亮阅读(269) 评论(0) 推荐(0)

dremio dbt + nessie 集成profile 简单说明

摘要：我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明，以下简单说明下dbt 如何配置配置说明对于配置实际上与以前一些介绍类似，集成nessie 的使用与其他是类似的，只是集成nessie 之后我们的数据开发模型上就有了实际的版本了（dbt 集成git 之后也会包含版本，阅读全文

posted @ 2024-01-13 23:07 荣锋亮阅读(48) 评论(0) 推荐(0)

openresty 1.25.3.1 发布了

摘要：就在最近openresty 发布了1.25.3.1 版本，基于了当前nginx 最新版本（1.25.3）核心特性 nginx 基于了当前最新版本支持pcre2 支持http3 说明目前来看openresty 更新迭代还是很不错的，一直在持续更新参考资料 https://openresty.o 阅读全文

posted @ 2024-01-13 13:33 荣锋亮阅读(341) 评论(0) 推荐(0)

dremio jdbc 插件时间增量处理的一些问题

摘要： dremio 支持一些增量数据处理能力，同时可以选择增量字段，目前dremio 是提供了一些实现，比如反射数据基于iceberg对于增量可以是不同的数据源（jdbc 的，文件系统的，iceberg 的），日常大家可能选择基于时间戳的（尤其业务系统是基于时间标识的append 类型的）对于时间类型阅读全文

posted @ 2024-01-12 14:39 荣锋亮阅读(52) 评论(0) 推荐(0)

dremio 反射刷新时间的一些简单说明

摘要： dremio 的反射是可以创建的view 以及table （datasource 中的表) 上的，默认物化反射的调度频率最小是1小时，view 上的反射频率是不能调整的（只能创建，不能配置频率），物理表可以进行配置调整，以下是一些测试说明几个方便观测反射效果的sql 以下是提供的几个系统表可以方便阅读全文

posted @ 2024-01-11 20:14 荣锋亮阅读(112) 评论(0) 推荐(0)

dremio+nessie+dbt+ cube.js 实现简单数据服务

摘要：以前我简单写过关于dremio与cube.js 集成的，随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供，将这几个集成在一起是一个很不错的选择，尤其是希望实现自己的headless bi 服务，同时利用dbt 强大的数据建模能阅读全文

posted @ 2024-01-11 15:22 荣锋亮阅读(206) 评论(0) 推荐(0)

maven extension 简单说明

摘要：按照说明maven 是3.3.1 发布了maven extension，功能很强大，以前没太注意，在看dremio 关于telemetry 集成的时候发现是一个很强大的功能，尤其在我们需要提高maven 构建性能的时候，以下是一个简单的说明配置说明一般包含了核心扩展以及构建扩展核心扩展 ja 阅读全文

posted @ 2024-01-10 17:17 荣锋亮阅读(385) 评论(0) 推荐(0)

dremio nessie 元数据sql查询简单说明

摘要：以前我简单介绍过关于dremio 与nessie 集成的，基本可以分为两大类，一类是完全使用nessie 做为元数据以及iceberg 的操作，还有就是nessie 做为其他外部工具的元数据存储，同时dremio 专门也开发了相关的sql 操作，这样并不需要使用ui 进行操作 nessie元数据操作阅读全文

posted @ 2024-01-09 16:42 荣锋亮阅读(82) 评论(0) 推荐(0)

onyxlang 简单包创建&使用

摘要： onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用创建包初始化 onyx package init 添加配置按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创阅读全文

posted @ 2024-01-09 12:15 荣锋亮阅读(20) 评论(0) 推荐(0)

onyxlang 简单试用

摘要：以前简单说过onyxlang 是一个基于webassembly 的新编程语言，以下是一个简单试用安装 sh <(curl https://get.onyxlang.io -sSfL) 效果注意安装完成之后需要配置环境变量（有提示）包含的cli Onyx toolchain version v0 阅读全文

posted @ 2024-01-09 09:31 荣锋亮阅读(28) 评论(0) 推荐(0)

swoosh elixir 方便的邮件发送&测试客户端

摘要： swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh 阅读全文

posted @ 2024-01-08 10:16 荣锋亮阅读(28) 评论(0) 推荐(0)

ssh3 基于http3 的安全shell 实现

摘要： ssh3 基于http3 的安全shell 实现，基于golang 开发包含的特性快速会话建立支持基于http 的认证，oauth，openid 规避端口扫描，可以实现隐藏能力（零信任经常使用的玩法） udp 端口转发以及经典的tcp 端口转发支持基于quic 协议说明前段时间opens 阅读全文

posted @ 2024-01-08 09:28 荣锋亮阅读(114) 评论(0) 推荐(0)

biscuit 委托&去中心化&基于功能的授权令牌

摘要：基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系）包含的特性去中心化的校验基于了公钥模式离线减弱核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat 阅读全文

posted @ 2024-01-08 09:19 荣锋亮阅读(40) 评论(0) 推荐(0)

pluto lua 的超集

摘要： pluto 是lua 的超集（5.4 版本的），同时还提供了一些新的特性，以及语法，当然也支持与lua 的兼容模式包含了语法以及bbytecode 说明 lua 这个小语法在实际应用中还是很多的，比如移动端，游戏，waf，nginx，framework 中，以后可以试用下Pluto 参考资料 htt 阅读全文

posted @ 2024-01-08 08:47 荣锋亮阅读(94) 评论(0) 推荐(0)

onyxlang 基于webassembly 的新编程语言

摘要： onyxlang 基于webassembly 的新编程语言，目前已经包含了包管理，语言server，编译器支持，同时包含了基于wasmer 以及wasix 的跨平台部署 onyxlang 可以做的事情包含了http server video 游戏说明目前基于webassembly 的平台以及框阅读全文

posted @ 2024-01-08 08:42 荣锋亮阅读(27) 评论(0) 推荐(0)

nerves 基于elixir 开发嵌入式系统

摘要： nerves 可以使我们基于elixir 开发嵌入式系统，而且基于erlang 强大的虚拟机能力实现可靠，高效的系统说明 nerves 包含了不少子系统，都可以加速系统的开发，值得学习下参考资料 https://nerves-project.org/#featureshttps://github 阅读全文

posted @ 2024-01-06 20:15 荣锋亮阅读(78) 评论(0) 推荐(0)

tsx nodejs 增强支持执行typescript 以及esm

摘要： tsx 属于一个nodejs的增强包含的特性快速的按需ts 以及esm 编译支持commonjs 以及esm 包支持下一代ts 扩展（.cts, .mts）隐藏体验特性警告 ts repl 解析tsconfig.json 适用的场景可以执行运行ts 而不需要进行配置更好的与esm，cj 阅读全文

posted @ 2024-01-06 09:45 荣锋亮阅读(209) 评论(0) 推荐(0)

elixir erlang 简单调用学习

摘要：实际上基于elixir 的mix 进行erlang 以及elixir 的互调用开发处理是很方便的，mix 直接就包含了构建erlang代码同时对于代码的互调用，只要使用符合语言格式要求就行了，以下是一个简单的互调用学习项目准备项目结构 ├── README.md ├── lib │ ├── a 阅读全文

posted @ 2024-01-05 17:09 荣锋亮阅读(87) 评论(0) 推荐(0)

datavault4dbt Scalefree的dbt datavault2.0 包

摘要：基于基于dbt 的datavault 2.0 实现还是不少的，可以加速模型的创建，以前简单介绍的automate-dv 也是一个类似的dbt包包含的maccro Staging Area (For Hashing, prejoins and ghost records) Hubs, Links & 阅读全文

posted @ 2024-01-05 14:28 荣锋亮阅读(43) 评论(0) 推荐(0)

基于macro 仿写一个简单的ecto schema dsl

摘要： ecto 的schema macro 是一个很方便的功能，可以用来定义表的schema 信息，以下是一个简单的仿写（只是行像，但是功能不一样）项目代码 macro 定义 e.ex defmodule E do # 方便use 使用 defmacro __using__(_options) do q 阅读全文

posted @ 2024-01-05 13:48 荣锋亮阅读(27) 评论(0) 推荐(0)

rabbitmq 集群docker玩法

摘要：属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的）环境准备测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container 阅读全文

posted @ 2024-01-05 10:10 荣锋亮阅读(37) 评论(0) 推荐(0)

erlang 多版本管理工具

摘要：对于日常开发中，多版本还是比较重要的，erlang 多版本管理工具也包含不少包含的工具 asdf 多用途的软件多版本管理工具 kerl 核心是处理erlang 多版本的 kiex 基于了kerl 以及ruby 的一些工具，目前似乎缺少维护了说明目前比较推荐的是kerl 以及asdf，当然还得看阅读全文

posted @ 2024-01-04 18:03 荣锋亮阅读(108) 评论(0) 推荐(0)

elixir config 简单说明

摘要： elixir 的config 模块，实际上就是标准的方法，只是mix 项目中在使用的时候使用了dsl 模式的，没有使用包含括号的模式调用给人一种似乎觉得有点怪的调用模式参考代码只说明config 方法，实际上Config 模块还包含了其他方法 mix 中的调用 import Config co 阅读全文

posted @ 2024-01-04 17:29 荣锋亮阅读(41) 评论(0) 推荐(0)

elixir 模块名一些参考资料

摘要： elixir 的模块名实际上是一个atom 类型的数据,以下是一些参考资料参考使用比如一个mix sup 项目 defmodule EctoDemo.Application do use Application @impl true def start(_type, _args) do chil 阅读全文

posted @ 2024-01-04 15:31 荣锋亮阅读(23) 评论(0) 推荐(0)

elixir mix 自定义任务

摘要： elixir 的mix 比较灵活，同时也比较强大，很多时候我们可以自己定义一个任务，方便运行以及构建，不少三方框架会提供一些方便的cli ，一般也会使用此方法比如ecto orm 框架，以下是一个简单的自定义task 学习参考开发目录位置这个实际上都f放那里可以，只是有一个简单的约定，建议放阅读全文

posted @ 2024-01-04 13:09 荣锋亮阅读(39) 评论(0) 推荐(0)

导航

公告