荣锋亮 - 博客园

dremio arp 扩展开发icon问题

摘要：好久没太注意dremio 内部的变动了，结果今天在自己开发arp 扩展i升级到24.3 的时候发现icon 看不到，刚好官方发布了 24.3 的源码，顺着看了下发现是icon 已经不在arp 扩展中提供了，而是直接放到了ui 组件中了参考图解决方法直接替换ui-lib jar 包自己编译ui 阅读全文

posted @ 2023-12-21 11:50 荣锋亮阅读(25) 评论(0) 推荐(0)

dremio 24.3.0 arp 扩展变动

摘要： dremio 24.3.0 版本发布了，在测试arp 扩展的是否发现有一些问题，通过对于历史版本，发现主要是一个包的变动参考对比 24.3.0 之前的 24.3.0 版本的说明对于以前开发的arp 扩展都需要重新调整并构建，才能确保与24.3.0 版本兼容，我以前开发的一些扩展后边会更新下参阅读全文

posted @ 2023-12-21 09:35 荣锋亮阅读(29) 评论(0) 推荐(0)

dremio 24.3.0 发布

摘要： 24.3 版本对于bugfix 以及新功能都是不少的一些比较方便的新功能支持parquet v2 文件，支持元数据清理命令 VACUUM CATALOG CTAS 支持排序 Array 相关操作函数的提供对于以及基于文件的数据源系统支持，自动的增量以及全量反射处理 parquet 文件字典编阅读全文

posted @ 2023-12-21 09:24 荣锋亮阅读(68) 评论(0) 推荐(0)

page-spy-web 一个方便的web 远程调试工具

摘要： page-spy-web 一个方便的web 远程调试工具，可以实现像chrome 一样debug 远程web，同时也提供了比较专业的web 管理运行 docker-compose version: "3" services: app: image: ghcr.io/huolalatech/page 阅读全文

posted @ 2023-12-19 19:11 荣锋亮阅读(446) 评论(0) 推荐(0)

uniffi-rs rust 多语言bindings 生成工具

摘要： uniffi-rs 是基于webidl 描述定义，然后生成不同语言bindings 的工具，此工具是在学习pyo3的maturin 工具看到的，整理记录下参考玩法目前支持的语言官方支持的包含了Kotlin,Swift,Python,Ruby 当然还有不少社区的实现，比如支持C#以及golang 阅读全文

posted @ 2023-12-19 11:05 荣锋亮阅读(370) 评论(0) 推荐(0)

maturin 简单试用

摘要：前边也简单介绍了maturin 是pyo3 推荐的rust python 模块开发首选工具,以下是一个简单的试用项目准备初始化项目 mkdir first cd first python -m venv venv source venv/bin/activate pip install matu 阅读全文

posted @ 2023-12-19 10:44 荣锋亮阅读(600) 评论(0) 推荐(0)

maturin 方便发布基于rust 的python 包工具

摘要： maturin 是PyO3团队开发的，方便我们开发基于rust 的python 包，比如PyO3 的使用文档中就使用了此工具安装&使用安装(可选，可以基于venv 安装) 可以基于pip 以及pipx pipx install maturin 创建一个简单项目 python -m venv .v 阅读全文

posted @ 2023-12-18 11:23 荣锋亮阅读(585) 评论(0) 推荐(0)

electric 基于pg 的现代应用的同步层框架

摘要： electric 是使用Elixir 开发的基于pg 的应用数据同步层中间件，electric 支持多种集成模式支持模式 drivers 支持基于sqlite 的应用同步，包含了本地，移动端，以及后端前端支持包含了对于一些主流前端框架的支持后端对于各种后端框架的支持对于evnet sou 阅读全文

posted @ 2023-12-18 09:51 荣锋亮阅读(131) 评论(0) 推荐(0)

cargo-make rust 任务执行以及构建工具

摘要：再学习nakago 框架的时候发现其使用了cargo-make 这个工具，但是很方便，类似make 的构建模式包含的特性依赖管理，别名支持，支持workspace 简单使用安装 cargo install --force cargo-make 参考使用创建一个cargo 项目 cargo n 阅读全文

posted @ 2023-12-18 09:30 荣锋亮阅读(545) 评论(0) 推荐(0)

nakago 轻量级rust 框架

摘要： nakago 轻量级rust 框架，还处于早期阶段包含的特性依赖注入基于Axum 的http adapter 基于seaORM 的sql adapter 基于async_graphql 的graphql adapter 基于CQRS-ES 的CQRS adapter （即将实现）说明 nak 阅读全文

posted @ 2023-12-18 09:14 荣锋亮阅读(61) 评论(0) 推荐(0)

基于dremio dbt 实现dremio 语义层建模的简单说明

摘要：简单说明下基于dbt +dremio 的语义层建模参考玩法如下图简单说明关于基于sql 模式的语义层建模详细的可以直接参考官方文档，我只简单说明下关于dbt 与dremio 集成的集成简单说明对于每个领域的子模型，可以包含自己的s3（按需，也可以共享，但是注意命名区分），对于每个dbt 阅读全文

posted @ 2023-12-15 16:31 荣锋亮阅读(141) 评论(0) 推荐(0)

dremio dbt adapter 一些简单说明

摘要： dbt-dremio 是dremio 官方维护的dbt adapter ，目前还在持续迭代中官方参考玩法实际上核心是基于dbt +dremio 进行模型的创建内部集成玩法对于我们实际运行是需要对象存储服务的（比如使用minio），对象存储做为实际数据的物理存储，同时会使用apache ice 阅读全文

posted @ 2023-12-15 15:29 荣锋亮阅读(64) 评论(0) 推荐(0)

containerd-wasm-shims k8s 运行webassembly 的containerd shim

摘要： containerd-wasm-shims 属于一个包装，基于了runwasi 可以实现在k8ss 中运行webassembly 工作负载，使用上提供了多种wasm 应用runtimes 以及扩展，同时目前KWasm组织也包装了一个k8s operator 实现方便的部署说明基于webassem 阅读全文

posted @ 2023-12-14 16:24 荣锋亮阅读(91) 评论(0) 推荐(0)

naxsi nginx 低规则维护的waf 扩展

摘要： naxsi nginx 低规则维护的waf 扩展，使用了libpcre 以及libinjection 工具，核心主要是处理xss 以及sql 注入类型的处理说明基于nginx 的开源waf 还是比较多的，naxsi 做为一个工具，可以尝试下参考资料 https://github.com/war 阅读全文

posted @ 2023-12-14 14:59 荣锋亮阅读(76) 评论(0) 推荐(0)

exiftool一个强大的文件元数据查看工具

摘要： exiftool是一个强大的文件元数据查看工具，支持比较多的文档元数据信息查看参考使用一个比较简单的使用，使用此工具分析百度文库转换出来的文档元数据信息命令 ./Image-ExifTool-12.70/exiftool rong.pdf 效果如下，可以看出百度的文档转换pdf 处理应该是使阅读全文

posted @ 2023-12-14 14:49 荣锋亮阅读(689) 评论(0) 推荐(0)

pypy 高性能python 解释器

摘要： pypy 是基于RPython 语言开发的cpython 替换工具包含的特性高速使用了JIT 技术，运行比较快可以支持基于无栈模式沙箱支持对于现有python 周边的支持比较好当然可能也会有问题，但是大部分运行是可以的参考使用一个基于ffi 的集成，实际上目前pypy 已经集成了c 阅读全文

posted @ 2023-12-14 09:32 荣锋亮阅读(75) 评论(0) 推荐(0)

cbindgen rust 代码生成c binding 的工具

摘要： rust 与c 以及c 与rust 的互调用还是比较常见的需求，很多时候自己写可能比较费事，但是使用一些工具就比较方便了 cbindgen 是一个对于rust 代码生成c binding 的工具参考使用基于cbindgen 将rust 的代码生成对应的c 头文件，之后基于cmake 构建项目项阅读全文

posted @ 2023-12-13 16:58 荣锋亮阅读(497) 评论(0) 推荐(0)

dremio 的虚拟数据集市

摘要：实际上术语来自dremio 的一篇博客，实际上官方也提供了如何创建自服务语义层的实践博客中玩法的简单说明官方的说明是参考如下流程创建业务单元基于文件夹的玩法数据源集成以及视图创建实际上就是基于数据源进行vds的处理访问控制以及权限处理用户数据管理以及data mesh 界面以及自动化阅读全文

posted @ 2023-12-13 14:47 荣锋亮阅读(86) 评论(0) 推荐(0)

emnapi node-api 的webassembly 实现工具

摘要： emnapi 是一个比较有意思的工具，可以帮助我们快速的实现将node-api 的模块构建为webassembly 模块可以帮助我们呢尽量少的修改node addon 代码就能转换为webassembly 模块说明目前已经有一些模块就使用了此工具（sharp）目前来说还是有一些问题，但是还是值得阅读全文

posted @ 2023-12-12 20:20 荣锋亮阅读(65) 评论(0) 推荐(0)

surrealdb tikv 集成试用

摘要：内容来自官方文档，主要体验下surrealdb 与tikv 的集成启动tikv 使用了官方提供的快速安装命令 curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh tiup up 阅读全文

posted @ 2023-12-12 16:57 荣锋亮阅读(134) 评论(0) 推荐(0)

dioxus 桌面渲染简单说明

摘要： dioxus 是基于rust 开发的支持跨平台应用开发的框架，对于桌面的支持是利用了tauri 提供的一些工具包目前来说是利用了tao 以及wry 参考使用添加引用核心是添加desktop 的cargo cargo add dioxus cargo add dioxus-desktop 代码阅读全文

posted @ 2023-12-12 15:01 荣锋亮阅读(532) 评论(0) 推荐(0)

dioxus 简单试用

摘要： dioxus 是提供了cli 工具的，可以加速应用的开发, 同时也包含一个模版项目可以使用工具安装 cargo install dioxus-cli 创建&简单项目试用 clone项目目前cli 似乎与官方说明的不太一致，可以先创建一个cargo 项目，然后执行dx create dx crea 阅读全文

posted @ 2023-12-11 19:11 荣锋亮阅读(484) 评论(0) 推荐(0)

dioxus rust 构建跨平台应用的框架

摘要： dioxus rust 构建跨平台应用的框架包含的特性原生桌面强大的状态管理快速异步以及协程支持热更新支持对于不同端支持不同的模式比如桌面支持webassembly 的dom 处理，ssr等说明目前看dioxus 对于开发桌面应用也是一个不错的选择，值得试试,rust 周边还是很阅读全文

posted @ 2023-12-11 17:47 荣锋亮阅读(386) 评论(0) 推荐(0)

yew 基于rust 以及wasm 创建web 应用的框架

摘要： yew 基于rust 以及wasm 创建web 应用的框架，我们可以基于一些定好好的rust 宏，实现基于webassembly 的web 应用开发包含的特性基于组件使用了类似rect 以及elm 的开发模式 html 宏类似react jsx 的定义 ssr 支持服务端渲染，默认属于客户端阅读全文

posted @ 2023-12-11 10:00 荣锋亮阅读(162) 评论(0) 推荐(0)

tesseract.js 又一个基于webassembly 的tesseract ocr 包装

摘要： tesseract.js 是基于webassembly 的js tesseract 实现，可以在web 以及node 中运行，我以前简单介绍过一个基于webassembly的工具tesseract-wasm 的实现相对简单（包括构建），当然技术上都是基于了emscripten 进行的构建,tess 阅读全文

posted @ 2023-12-08 15:41 荣锋亮阅读(313) 评论(0) 推荐(0)

nginx-otel 来自nginx 官方的otel 模块

摘要： nginx-otel 是来自nginx 官方团队的otel 模块，可以实现方方便的tracing 说明注意按照官方的说法开启会有10-15%左右的性能损耗，但是比一些三方社区实现好，此项目是基于c++ 开发的，同时试用了cmake进行构建也算是一个不错的cmake nginx 构建学习项目了参考阅读全文

posted @ 2023-12-07 10:56 荣锋亮阅读(289) 评论(0) 推荐(0)

haproxy 2.9 发布

摘要：就在最近haproxy 发布了2.9，有不少新功能新功能更快提供了http/2 线程，共享池，log，健康检查，maps，cache ，stick tables 还有quic 的处理更灵活支持syslog 负载均衡，新的提供了更多的支持参数，实际以前也是支持的，提供了更多的quic 配置参阅读全文

posted @ 2023-12-07 10:41 荣锋亮阅读(151) 评论(0) 推荐(0)

rust cargo config一个方便的功能

摘要： cargo 除了默认的cargo.toml 文件之外，我们还可以进行一些额外的配置，可以用来干一些比较有意思的事情比如.cargo/config.toml 文件就比较方便，当我们在基于rust 开发webassembly的时候是需要执行target的为了兼容选择的是wasm32-unknown- 阅读全文

posted @ 2023-12-06 17:29 荣锋亮阅读(373) 评论(0) 推荐(0)

cerbos golang 内部policy check 处理简单说明

摘要：主要是想尝试实现一个rust 的check 方法，所以先研究下golang 的内部实现 CheckResources func (cs *CerbosService) CheckResources(ctx context.Context, req *requestv1.CheckResourcesR 阅读全文

posted @ 2023-12-06 12:55 荣锋亮阅读(63) 评论(0) 推荐(0)

rust webassembly 优化参考资料

摘要：这几天在学习webassembly，尤其是cerbos lite 对于webassembly 的支持，所以简单整理一些 chatgpt给的一些建议 WebAssembly（Wasm）的优化涉及多个方面，包括编译器优化、代码结构调整、资源管理和压缩等。以下是一些通用的 WebAssembly 优化策略阅读全文

posted @ 2023-12-06 10:07 荣锋亮阅读(115) 评论(0) 推荐(0)

minio 新的minio grid server 通信框架

摘要：在最近的minio 发布中，官方介绍了一个内部实现minio grid 可以实现基于websocket 的server 通信，可以提升集群的server 数量，比较适合小，中型的数据通信任务，看着很不错，值得看看参考资料 https://github.com/minio/minio/blob/ma 阅读全文

posted @ 2023-12-05 11:18 荣锋亮阅读(81) 评论(0) 推荐(0)

cerbos lite webassembly 处理简单说明

摘要：上次简单说明了下cerbos lite 对于webassembly policy 集成的说明，通过查看lite client 简单说明下参考处理 ci/cd 集成处理这个也比较符合官方hub 的ci/cd 机制，核心是通过git 的repo 管理，集成ci/cd 构建webassembly文件，阅读全文

posted @ 2023-12-05 11:10 荣锋亮阅读(40) 评论(0) 推荐(0)

h2o 多http 协议支持的http server

摘要： h2o 是基于c开发的http server 支持一些类似nginx 的功能，github start 不少，目前还是比较活跃的，很值得看看参考资料 https://github.com/h2o/h2ohttps://h2o.examp1e.net/ 阅读全文

posted @ 2023-12-05 10:22 荣锋亮阅读(173) 评论(0) 推荐(0)

avvio fastify的异步node 应用启动框架

摘要： avvio 是fastify 团队开发的一个node 应用异步启动的框架，实现了一些方便的异步处理，同时还可以保证执行顺序，在实际业务中还是一个比较有用的工具包参考使用 app.js const avvio = require("avvio")() function a (instance, o 阅读全文

posted @ 2023-12-05 09:37 荣锋亮阅读(66) 评论(0) 推荐(0)

cosmo 开源apollo Graphos 工具

摘要： cosmo 时候一个graphql 联邦工具，可以用来方便的进行graphql 协作参考架构说明 wundergraph 团队开源了不少graphql 相关的工具了，cosmo 是一个graphql 联邦值得学习的工具参考资料 https://cosmo-docs.wundergraph.co 阅读全文

posted @ 2023-12-05 09:10 荣锋亮阅读(58) 评论(0) 推荐(0)

cerbos hub 流程参考

摘要：内容来自官方文档，主要是学习下cerbos hub是如何进行policy 的集成的参考流程说明目前关于webassembly 部分官方也没有相关详细的介绍，但是其他部分基本都有相关比较详细的说明参考资料 https://docs.cerbos.dev/cerbos-hub/https://d 阅读全文

posted @ 2023-12-02 21:56 荣锋亮阅读(46) 评论(0) 推荐(0)

cerbos webassebly 集成简单说明

摘要： cerbos 包含了一个lite 包，可以方便不依赖backend server 进行认证，内部基于了webassebly 进行policy 的存储参考使用 policies.wasm 文件此文件来自官方的测试，实际上目前官方文档暂时没有说明此文件如何生成，但是通过官方测试文件可以看到一些东西，阅读全文

posted @ 2023-12-02 21:40 荣锋亮阅读(38) 评论(0) 推荐(0)

keydb s3 快照使用

摘要： keydb 包含了一个钩子，可以方便在服务停止的是否将数据快照存储到s3 中，核心是利用了aws cli 工具参考玩法参考使用安装aws cli brew install aws aws cli 配置可以通过aws configure 配置环境变量export AWS_ENDPOINT_UR 阅读全文

posted @ 2023-12-01 17:08 荣锋亮阅读(42) 评论(0) 推荐(0)

keydb 6.3.4 发布

摘要：就在10月底keydb发布了 6.3.4 ，fix 部分不少，同时添加了一些新功能，比如keydb_modstatsd 统计信息支持keydb flash 目前还属于beta 状态，同时添加了一些新配置，核心还是fix 参考资料 https://github.com/Snapchat/KeyDB/r 阅读全文

posted @ 2023-12-01 15:26 荣锋亮阅读(67) 评论(0) 推荐(0)

surrealdb 试用

摘要： surrealdb 是一个很不错的多模数据库，以下是一个简单试用环境准备基于docker-compose docker-compose 文件添加了本地存储 version: "3" services: db: image: surrealdb/surrealdb:latest command: 阅读全文

posted @ 2023-12-01 11:51 荣锋亮阅读(465) 评论(0) 推荐(0)

导航

公告