上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 135 下一页

2024年1月19日

dremio opentelemetry监控试用

摘要: 标准的系统监控应该包含metrics,trace,log 这个三大类,metrics 部分,包含了一个promethues 的扩展,当然官方也支持jmx以及slf4j的 opentelemetry 是一个直接内置的trace 功能,很不错,以下是一个简单的测试 环境准备 dremio 默认就支持op 阅读全文

posted @ 2024-01-19 17:15 荣锋亮 阅读(74) 评论(0) 推荐(0)

postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具

摘要: postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具,比较有意思 使用到的一些包 runtime v86的一个模拟器 buildroot 脚本,方便构建一个在v86 中运行的cpu 以及内存快照 websockproxy 网络工具 说明 官方也提供了一 阅读全文

posted @ 2024-01-19 14:41 荣锋亮 阅读(46) 评论(0) 推荐(0)

dremio ui 数据源插件加载处理简单说明

摘要: dremio 开发数据源扩展,基本包含了数据库,元数据类的,对象存储的,以及catalog 的,实际上开发扩展不算太难 默认开发的扩展直接放jars 文件夹就可以了,但是目前新版本我们会发现隐藏了一个opensearch 的插件,这个插件需 要通过配置开启,plugins.jdbc.opensear 阅读全文

posted @ 2024-01-19 13:57 荣锋亮 阅读(52) 评论(0) 推荐(0)

dremio 基于Options注解的配置技巧

摘要: 以前简单写过一个dremio 配置相关的介绍,以下是一个简单的使用 原理 dremio 自己定义了一个Options 的注解,包含此注解的类会被启动的时候进行类扫描加载,Options 的会存储起来(分为不用类型的) 有session 级别的,系统级别的。。。。 简单使用 pom.xml <?xml 阅读全文

posted @ 2024-01-19 10:24 荣锋亮 阅读(36) 评论(0) 推荐(0)

2024年1月18日

snaplet 一个强大的类似产品数据的生成工具

摘要: 以前简单介绍过一个数据生成工具synth,snaplet 是一个类似的工具,但是设计上比较有意思,synth 是基于了schemasnaplet 使用了快照,以及基于ai 的数据生成模式,当然还包含了一种种子数据生成的模式 包含的特性 种子数据 对于现有的数据库使用快照模式生成 数据恢复 对于clo 阅读全文

posted @ 2024-01-18 11:19 荣锋亮 阅读(61) 评论(0) 推荐(0)

spring boot 3.2.1 dremio jdbc jprofiler 集成

摘要: jprofiler 可以直接与idea 集成,对于分析一些实际需要debug 但是不好复现的问题还是比较方便的,以下是一个简单的与 dremio 集成的,spring boot 使用了3.2 (jdk 需要17)同时也会包含一些启动说明 安装idea 插件 直接plugins 的市场中搜索安装就可以 阅读全文

posted @ 2024-01-18 10:35 荣锋亮 阅读(91) 评论(0) 推荐(0)

2024年1月17日

dremio nessie 版本持久化配置简单说明

摘要: dremio 对于nessie 的使用就是一个插件配置,默认基于docker运行的nessie 是没有进行版本持久化的,以下是一个简单说明 配置参考 我基于了pg,实际支持的存储引擎还是很多的 docker-compose version: "3" services: mysql2: image: 阅读全文

posted @ 2024-01-17 15:09 荣锋亮 阅读(47) 评论(0) 推荐(0)

dremio jdbc 访问最好使用链接池工具

摘要: 昨天在碰到一个dremio jdbc 比较奇怪的问题,按照了标准的jdbc 操作(建立链接,创建Statement,处理数据,关闭Statement,关闭连接) 当进行多次执行(多次建立连接操作)发现dremio 有一个操作异常,造成数据表创建有问题(事务不完整) 参考代码 private stat 阅读全文

posted @ 2024-01-17 10:43 荣锋亮 阅读(140) 评论(0) 推荐(0)

2024年1月16日

dremio 测试特性api 的开启&外部profile查看

摘要: 以前简单说过基于代码修改开启test 的外部profile 能力,实际上官方是由配置参数的,可以在启动的时候添加到配置中 配置添加 dremio.conf 文件 debug { allowTestApis: true } 检查选项时候开启的一个技巧 使用arthas 命令 使用了arthas的vmt 阅读全文

posted @ 2024-01-16 15:27 荣锋亮 阅读(44) 评论(0) 推荐(0)

arthas 查看变量值的几种方式

摘要: 很多时候我们包含了一些变量,需要check 变量的值,arthas 提供了几种方法 通过ognl ognl 是一个强大的功能,可以看一些变量信息,比如静态类,静态字段的 参考使用 ognl '@java.lang.System@out.println("hello")' 通过vmtool vmtoo 阅读全文

posted @ 2024-01-16 15:24 荣锋亮 阅读(2898) 评论(0) 推荐(0)

synth 简单试用

摘要: 以下是一个简单的试用,主要是体验下synth 的功能 安装 我使用的mac 系统,其他系统按照官方文档操作 curl --proto '=https' --tlsv1.2 -sSL https://getsynth.com/install | sh 项目创建 创建文件夹 mkdir first 创建 阅读全文

posted @ 2024-01-16 11:53 荣锋亮 阅读(85) 评论(0) 推荐(0)

synth 声明式数据生成工具

摘要: synth 是由shuttle 团队开发的一个基于rust 编写的声明式数据生成工具 应用场景 数据隐藏 隐藏敏感的产品数据,帮助我们生成比较符合生成场景的数据 种子数据初始化 基于ci 的测试,开发环境数据生成,方便持续集成 基于自定义的规范,生成逼真的数据 可以基于约束,关系,生成逼真的数据 说 阅读全文

posted @ 2024-01-16 11:07 荣锋亮 阅读(75) 评论(0) 推荐(0)

cachex elixir 强大的缓存框架

摘要: cachex 是一个强大的elixir cache 库,提供了事务,fallback,以及过期等基本能力 包含的特性 TTL 最大大小限制 pre、post 执行hooks 事务以及row 锁 异步写操作 分布式 同步本地文件系统 streaming cache 批量写 用户命令调用 统计信息 参考 阅读全文

posted @ 2024-01-16 09:50 荣锋亮 阅读(88) 评论(0) 推荐(0)

2024年1月15日

elixir before_compile && on_definition 简单使用

摘要: elixir 提供了一些方便的模块属性,可以让我们方便的进行elixir 的扩展(尤其是进行元编程的时候) 比如elixir_agent 就使用到了before_compile以及on_definition ,方便进行trace 的处理 on_definition 的简单使用 参考demo 内容来自 阅读全文

posted @ 2024-01-15 10:28 荣锋亮 阅读(21) 评论(0) 推荐(0)

sqlglot python sql 解析以及翻译工具

摘要: sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具,功能还是比较强大的支持20多种sql 方言的格式化以及翻译,sqlmesh 就使用了此工具包,当然相比其他一些工具,性能也是很不错的 参考资料 https://github.com/tobymao/ 阅读全文

posted @ 2024-01-15 09:22 荣锋亮 阅读(1811) 评论(0) 推荐(0)

sqlmesh 类似dbt 的工具

摘要: sqlmesh 是一个类似dbt 的工具,目前没有dbt 热度高,但是也提供了一些不错的周边 一些比较不错的功能点 open sosurce ui 列级别的血缘 native notebook 支持 多仓库支持 sql 转译 开源ci/cd bot 虚拟数据环境 原生airflow 集成 data 阅读全文

posted @ 2024-01-15 09:13 荣锋亮 阅读(269) 评论(0) 推荐(0)

2024年1月13日

dremio dbt + nessie 集成profile 简单说明

摘要: 我最近写了一个简单的关于dremio 集成nessie 以及dbt 玩法的说明,以下简单说明下dbt 如何配置 配置说明 对于配置实际上与以前一些介绍类似,集成nessie 的使用与其他是类似的,只是集成nessie 之后我们的数据开发模型上就有了实际的版本了(dbt 集成git 之后也会包含版本, 阅读全文

posted @ 2024-01-13 23:07 荣锋亮 阅读(48) 评论(0) 推荐(0)

openresty 1.25.3.1 发布了

摘要: 就在最近openresty 发布了1.25.3.1 版本,基于了当前nginx 最新版本(1.25.3) 核心特性 nginx 基于了当前最新版本 支持pcre2 支持http3 说明 目前来看openresty 更新迭代还是很不错的,一直在持续更新 参考资料 https://openresty.o 阅读全文

posted @ 2024-01-13 13:33 荣锋亮 阅读(341) 评论(0) 推荐(0)

2024年1月12日

dremio jdbc 插件时间增量处理的一些问题

摘要: dremio 支持一些增量数据处理能力,同时可以选择增量字段,目前dremio 是提供了一些实现,比如反射数据基于iceberg对于增量 可以是不同的数据源(jdbc 的,文件系统的,iceberg 的),日常大家可能选择基于时间戳的(尤其业务系统是基于时间标识的append 类型的) 对于时间类型 阅读全文

posted @ 2024-01-12 14:39 荣锋亮 阅读(52) 评论(0) 推荐(0)

2024年1月11日

dremio 反射刷新时间的一些简单说明

摘要: dremio 的反射是可以创建的view 以及table (datasource 中的表) 上的,默认物化反射的调度频率最小是1小时,view 上的反射频率是不能调整的(只能创建,不能配置频率),物理表可以进行配置调整,以下是一些测试说明 几个方便观测反射效果的sql 以下是提供的几个系统表可以方便 阅读全文

posted @ 2024-01-11 20:14 荣锋亮 阅读(112) 评论(0) 推荐(0)

dremio+nessie+dbt+ cube.js 实现简单数据服务

摘要: 以前我简单写过关于dremio与cube.js 集成的,随着dremio 官方自己维护了一个dbt 的adapter 以及nessie 方便的类似git 的多版本元数据服务的提供,将这几个集成在一起是一个很不错的选择,尤其是希望实现自己的headless bi 服务,同时利用dbt 强大的数据建模能 阅读全文

posted @ 2024-01-11 15:22 荣锋亮 阅读(206) 评论(0) 推荐(0)

2024年1月10日

maven extension 简单说明

摘要: 按照说明maven 是3.3.1 发布了maven extension,功能很强大,以前没太注意,在看dremio 关于telemetry 集成的时候发现是一个很强大的 功能,尤其在我们需要提高maven 构建性能的时候,以下是一个简单的说明 配置说明 一般包含了核心扩展以及构建扩展 核心扩展 ja 阅读全文

posted @ 2024-01-10 17:17 荣锋亮 阅读(385) 评论(0) 推荐(0)

2024年1月9日

dremio nessie 元数据sql查询简单说明

摘要: 以前我简单介绍过关于dremio 与nessie 集成的,基本可以分为两大类,一类是完全使用nessie 做为元数据以及iceberg 的操作,还有就是nessie 做为其他外部工具的元数据存储,同时dremio 专门也开发了相关的sql 操作,这样并不需要使用ui 进行操作 nessie元数据操作 阅读全文

posted @ 2024-01-09 16:42 荣锋亮 阅读(82) 评论(0) 推荐(0)

onyxlang 简单包创建&使用

摘要: onyxlang 支持包,提供了基于git 的模式,以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍,一个包需要包含代码(git repo),onyx-pkg.kdl 文件,module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 阅读全文

posted @ 2024-01-09 12:15 荣锋亮 阅读(20) 评论(0) 推荐(0)

onyxlang 简单试用

摘要: 以前简单说过onyxlang 是一个基于webassembly 的新编程语言,以下是一个简单试用 安装 sh <(curl https://get.onyxlang.io -sSfL) 效果 注意安装完成之后需要配置环境变量(有提示) 包含的cli Onyx toolchain version v0 阅读全文

posted @ 2024-01-09 09:31 荣锋亮 阅读(28) 评论(0) 推荐(0)

2024年1月8日

swoosh elixir 方便的邮件发送&测试客户端

摘要: swoosh提供了多中邮件平台的adapter ,可以方便的进行邮件的测试,发送,还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh 阅读全文

posted @ 2024-01-08 10:16 荣锋亮 阅读(28) 评论(0) 推荐(0)

ssh3 基于http3 的安全shell 实现

摘要: ssh3 基于http3 的安全shell 实现,基于golang 开发 包含的特性 快速会话建立 支持基于http 的认证,oauth,openid 规避端口扫描,可以实现隐藏能力(零信任经常使用的玩法) udp 端口转发以及经典的tcp 端口转发支持 基于quic 协议 说明 前段时间opens 阅读全文

posted @ 2024-01-08 09:28 荣锋亮 阅读(114) 评论(0) 推荐(0)

biscuit 委托&去中心化&基于功能的授权令牌

摘要: 基于token 的认证在微服务,以及api 安全中是比较常见的,大家使用比较多的是jwt,但是目前大家对于jwt 吐槽的地方是越来越多了(核心还是和安全有一些关系) 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key,生成新的权限小的key(适合权限委托) dat 阅读全文

posted @ 2024-01-08 09:19 荣锋亮 阅读(40) 评论(0) 推荐(0)

pluto lua 的超集

摘要: pluto 是lua 的超集(5.4 版本的),同时还提供了一些新的特性,以及语法,当然也支持与lua 的兼容模式包含了语法以及bbytecode 说明 lua 这个小语法在实际应用中还是很多的,比如移动端,游戏,waf,nginx,framework 中,以后可以试用下Pluto 参考资料 htt 阅读全文

posted @ 2024-01-08 08:47 荣锋亮 阅读(94) 评论(0) 推荐(0)

onyxlang 基于webassembly 的新编程语言

摘要: onyxlang 基于webassembly 的新编程语言,目前已经包含了包管理,语言server,编译器支持,同时包含了基于wasmer 以及wasix 的跨平台部署 onyxlang 可以做的事情 包含了http server video 游戏 说明 目前基于webassembly 的平台以及框 阅读全文

posted @ 2024-01-08 08:42 荣锋亮 阅读(27) 评论(0) 推荐(0)

2024年1月6日

nerves 基于elixir 开发嵌入式系统

摘要: nerves 可以使我们基于elixir 开发嵌入式系统,而且基于erlang 强大的虚拟机能力实现可靠,高效的系统 说明 nerves 包含了不少子系统,都可以加速系统的开发,值得学习下 参考资料 https://nerves-project.org/#featureshttps://github 阅读全文

posted @ 2024-01-06 20:15 荣锋亮 阅读(78) 评论(0) 推荐(0)

tsx nodejs 增强支持执行typescript 以及esm

摘要: tsx 属于一个nodejs的增强 包含的特性 快速的按需ts 以及esm 编译 支持commonjs 以及esm 包 支持下一代ts 扩展(.cts, .mts) 隐藏体验特性警告 ts repl 解析tsconfig.json 适用的场景 可以执行运行ts 而不需要进行配置 更好的与esm,cj 阅读全文

posted @ 2024-01-06 09:45 荣锋亮 阅读(209) 评论(0) 推荐(0)

2024年1月5日

elixir erlang 简单调用学习

摘要: 实际上基于elixir 的mix 进行erlang 以及elixir 的互调用开发处理是很方便的,mix 直接就包含了构建erlang代码 同时对于代码的互调用,只要使用符合语言格式要求就行了,以下是一个简单的互调用学习 项目准备 项目结构 ├── README.md ├── lib │ ├── a 阅读全文

posted @ 2024-01-05 17:09 荣锋亮 阅读(87) 评论(0) 推荐(0)

datavault4dbt Scalefree的dbt datavault2.0 包

摘要: 基于基于dbt 的datavault 2.0 实现还是不少的,可以加速模型的创建,以前简单介绍的automate-dv 也是一个类似的dbt包 包含的maccro Staging Area (For Hashing, prejoins and ghost records) Hubs, Links & 阅读全文

posted @ 2024-01-05 14:28 荣锋亮 阅读(43) 评论(0) 推荐(0)

基于macro 仿写一个简单的ecto schema dsl

摘要: ecto 的schema macro 是一个很方便的功能,可以用来定义表的schema 信息,以下是一个简单的仿写(只是行像,但是功能不一样) 项目代码 macro 定义 e.ex defmodule E do # 方便use 使用 defmacro __using__(_options) do q 阅读全文

posted @ 2024-01-05 13:48 荣锋亮 阅读(27) 评论(0) 推荐(0)

rabbitmq 集群docker玩法

摘要: 属于一个简单测试玩的,rabbitmq 实际最近几年变化还是挺大的(主要是一些新特性,核心amqp 是一致的) 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container 阅读全文

posted @ 2024-01-05 10:10 荣锋亮 阅读(37) 评论(0) 推荐(0)

2024年1月4日

erlang 多版本管理工具

摘要: 对于日常开发中,多版本还是比较重要的,erlang 多版本管理工具也包含不少 包含的工具 asdf 多用途的软件多版本管理工具 kerl 核心是处理erlang 多版本的 kiex 基于了kerl 以及ruby 的一些工具,目前似乎缺少维护了 说明 目前比较推荐的是kerl 以及asdf,当然还得看 阅读全文

posted @ 2024-01-04 18:03 荣锋亮 阅读(108) 评论(0) 推荐(0)

elixir config 简单说明

摘要: elixir 的config 模块,实际上就是标准的方法,只是mix 项目中在使用的时候使用了dsl 模式的,没有使用包含括号的模式调用 给人一种似乎觉得有点怪的调用模式 参考代码 只说明config 方法,实际上Config 模块还包含了其他方法 mix 中的调用 import Config co 阅读全文

posted @ 2024-01-04 17:29 荣锋亮 阅读(41) 评论(0) 推荐(0)

elixir 模块名一些参考资料

摘要: elixir 的模块名实际上是一个atom 类型的数据,以下是一些参考资料 参考使用 比如一个mix sup 项目 defmodule EctoDemo.Application do use Application @impl true def start(_type, _args) do chil 阅读全文

posted @ 2024-01-04 15:31 荣锋亮 阅读(23) 评论(0) 推荐(0)

elixir mix 自定义任务

摘要: elixir 的mix 比较灵活,同时也比较强大,很多时候我们可以自己定义一个任务,方便运行以及构建,不少 三方框架会提供一些方便的cli ,一般也会使用此方法比如ecto orm 框架,以下是一个简单的自定义task 学习 参考开发 目录位置 这个实际上都f放那里可以,只是有一个简单的约定,建议放 阅读全文

posted @ 2024-01-04 13:09 荣锋亮 阅读(39) 评论(0) 推荐(0)

上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 135 下一页

导航