lakefs 提供的数据工程现状图
摘要：
此图很不错，整理了不少数据处理周边的工具，可以参考学习 参考图 参考资料 https://lakefs.io/blog/the-state-of-data-engineering-2023/ 阅读全文
posted @ 2023-06-26 23:44 荣锋亮 阅读(48) 评论(0) 推荐(0)
长亭waf-ce 版本试用
摘要：
最近长亭提供了ce 版本的waf ，部分开源了（部分管理UI，t1k 部分，部分语义分析自动机引擎） 运行 离线下载docker 镜像 以下地址http://demo.waf-ce.chaitin.cn/image.tar.gz 加载镜像cat image.tar.gz | gzip -d | do 阅读全文
posted @ 2023-06-26 22:56 荣锋亮 阅读(341) 评论(0) 推荐(0)
spring boot graalvm native 试用
摘要：
核心是体验下新版本支持情况同时体验下企业特性（g1 gc） 参考示例 就是基于spring start 提供的web，添加了graalvm native 构建支持，graalvm oracle 发行版直接可以官方下载 pom.xml 核心信息 <?xml version="1.0" encoding 阅读全文
posted @ 2023-06-25 23:39 荣锋亮 阅读(287) 评论(0) 推荐(0)
squawk pg linter 工具
摘要：
squawk 是一个pg linter 工具，主要作用是对于数据迁移的处理，基于rust 开发 说明 同时官方还提供了一个方便安全迁移的指南，很值得学习 参考资料 https://github.com/sbdchd/squawkhttps://squawkhq.com/https://benchli 阅读全文
posted @ 2023-06-25 14:36 荣锋亮 阅读(105) 评论(0) 推荐(0)
graalvm native-image jfr 试用
摘要：
graalvm 最近license 许可模型的修改，对于我们使用graalvm 增加了不少信心，尤其是以前需要企业订阅的一些特性 以下是一个简单的jfr 试用 代码&构建 代码来自官方文档，主要是试用下,对于graalvm直接可以免费下载企业版了, 同时需要安装visualvm 代码 JFRDemo 阅读全文
posted @ 2023-06-24 22:34 荣锋亮 阅读(116) 评论(0) 推荐(0)
graalvm 新的免费许可协议
摘要：
就在最近oracle 发布了一个新的graalvm 发行版（oracle graalvm），同时也调整了许可模型，大致上是除非你收费基于graalvm 开发的应用，基本上oraclegraalvm 分发版本的可以免费使用，包含了不少新特性 当前版本的特性 profile 指南优化，提供了更多的编译优 阅读全文
posted @ 2023-06-23 10:29 荣锋亮 阅读(553) 评论(0) 推荐(0)
find-my-way nodejs 快速的http 路由框架
摘要：
find-my-way 基于了radix tree 开发的路由框架，支持路由参数，通配符，同时语言无关fastify 以及restify 都使用了路由框架，同时也受echo启发 说明 了解find-my-way 的使用以及内部机制对于学习fastify 是比较有用的，fastify 不少有意思的插件 阅读全文
posted @ 2023-06-21 12:21 荣锋亮 阅读(77) 评论(0) 推荐(0)
langchain 基于大模型构建应用的框架
摘要：
langchain 包装了对于大模型应用开发，常用的一些东西（prompts，language models，output parser）可以方便我们基于大模型应用的开发，同时langchain 也提供了js 版本的 说明 对于有基于大模型进行应用开发的langchain 是一个值得试用的框架，同时 阅读全文
posted @ 2023-06-21 08:42 荣锋亮 阅读(204) 评论(0) 推荐(0)
junodb paypal 开源的key value 存储
摘要：
junodb paypal 开源的key value 存储，下图是关于整体架构的 参考架构 简单说明:junodb 是基于proxy 的架构设计，可以方便的水平扩展，junodb 核心包含了三部分，client，proxy，storage server，当然junodb 还依赖一个etcdproxy 阅读全文
posted @ 2023-06-21 08:18 荣锋亮 阅读(119) 评论(0) 推荐(0)
pgcat 基于rust 开发类似pgbouncer 的数据库链接池以及proxy 工具
摘要：
pgcat 是postgresml 团队开源的，pg链接池以及proxy 工具，包含了不少特性 特性 事物pool，类似pgbouncer ，对于异常客户端以及遗弃事物处理做了提升 session pool 类似pgbouncer 多线程运行时 读查询负载均衡，对于primary 以及replica 阅读全文
posted @ 2023-06-21 07:56 荣锋亮 阅读(374) 评论(0) 推荐(0)
nginx 1.25.1 发布
摘要：
nginx 1.25.1 有一个很不错的特性，就是支持了http2 指令，以前这个指令主要是也listen 配置使用的（ssl+http2 场景） 独立指令之后就有了很方便的功能了，比如有些业务希望使用http0.9-1.1 协议，有些需要使用http2，当然目前也是支持了 http3的，可以做到分 阅读全文
posted @ 2023-06-19 19:28 荣锋亮 阅读(644) 评论(0) 推荐(0)
dremio 24.1 Nessie 支持插件
摘要：
以前也简单说过24.1 支持基于Nessie 进行查询了，相关代码名称比较怪异（此代码开源了），名称为dataplane 参考代码信息 说明 因为dremio 云版本支持基于Nessie的元数据管理，此功能代码还是值得学习参考的，整体开发上也是一个标准的存储扩展 参考资料 https://docs. 阅读全文
posted @ 2023-06-18 17:16 荣锋亮 阅读(53) 评论(0) 推荐(0)
dremio 24.1 udf 表函数支持
摘要：
此功能比较方便，我们可以方便的扩展一些函数，直接可以返回表数据，方便分析处理，以前要处理需要通过关联，或者自定义vds 参考使用 参考资料 https://docs.dremio.com/software/sql-reference/sql-commands/functions/ 阅读全文
posted @ 2023-06-18 17:06 荣锋亮 阅读(30) 评论(0) 推荐(0)
dremio 24.1 vacuum 一些新特性
摘要：
实际上此功能，我以前介绍过，现在官方文档直接说明了，同时最新版本支持删除过期文件了，24版本我在测试的时候发现是有些问题新版本是否解决还得测试，具体使用可以参考以下链接 参考资料 https://docs.dremio.com/software/release-notes/240-release/h 阅读全文
posted @ 2023-06-18 17:01 荣锋亮 阅读(31) 评论(0) 推荐(0)
dremio 24.1 zstd 支持的的处理
摘要：
以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客 一些差异 dremio 自己编译了hadoop lib 库 dremio 支持了level 配置 参考资料 https:// 阅读全文
posted @ 2023-06-18 12:56 荣锋亮 阅读(29) 评论(0) 推荐(0)
dremio 24.1.0 发布
摘要：
dremio 就在昨天dremio 发布了24.1.0 版本（间隔时间还是比较长的），包含了不少特性，上午的时候简单看了下，但是因为目前文档页面打不开了我只简单说以下我看到的几个不错的 一些新特性 内置支持zstd 压缩了 Nessie 数据源支持，可以更好的使用Nessie 作为catalog 服 阅读全文
posted @ 2023-06-16 22:00 荣锋亮 阅读(48) 评论(0) 推荐(0)
nginx-clojure debug构建简单说明
摘要：
实际上参考了官方的构建参数，提供一个debug 模式的文件 原始配置 configure arguments: --prefix= --sbin-path=nginx --conf-path=conf/nginx.conf --error-log-path=logs/error.log --http 阅读全文
posted @ 2023-06-12 11:31 荣锋亮 阅读(134) 评论(2) 推荐(0)
postgresml 基于postgres 的ai 应用数据库
摘要：
postgresml 基于postgres 的ai 应用数据库，我们可以基于sql 使用开源模型进行训练，实际上如果了解pg 的化pg 实际也有一个开源的madlib 也属于机器学习领域的不错选择 说明 如果测试使用的，注意postgresml docker 镜像很大，同时需要自己构建会比较慢，后边 阅读全文
posted @ 2023-06-11 22:42 荣锋亮 阅读(302) 评论(0) 推荐(0)
lilo java 快速 graphql stitching 包
摘要：
lilo 是一个快速的graphql stitching 包，可以实现合并多个graphql 服务的合并（schema，以及调用）比较适合的业务场景是gateway 说明 同时在springone 官方中也有介绍到，内部使用到了graphql-java 进行处理 参考资料 https://githu 阅读全文
posted @ 2023-06-11 09:37 荣锋亮 阅读(32) 评论(0) 推荐(0)
coredb 使用pg all-in-one 解决方案
摘要：
coredb 认为可以使用pg 干任何事情，自己基于rust 开发了不少pg 的扩展，当然也包含了不少社区现有的扩展同时coredb 还开发了一个pg 扩展仓库（实际上以前社区也有一个） 说明 目前coredb 还在开发中，核心技术栈基于了rust，一些理念还是值得学习参考的 参考资料 https: 阅读全文
posted @ 2023-06-11 09:07 荣锋亮 阅读(61) 评论(0) 推荐(0)
nginx-clojure-0.6.0 集成nginx 1.25.0 构建的解决方法
摘要：
今天也说过关于nginx-clojure-0.6.0 集成nginx 1.2.50 构建是有问题的，以下是解决方法 实际问题 static declaration of ‘ngx_http_close_request’ follows non-static declaration 原因 nginx- 阅读全文
posted @ 2023-06-10 22:00 荣锋亮 阅读(73) 评论(0) 推荐(0)
nginx-clojure 源码构建一些问题
摘要：
因为nginx-clojure 就是一个标准的nginx 模块，一些是尝试基于源码进行构建发现一些问题的说明 简单说明 nginx 当前1.25 版本的构建是有问题的, 1.24 版本构建是可以的，1.23 版本实际上官方已经提供了 但是如果查看nginx 官方文档会发现1.23 版本的下载官方是 阅读全文
posted @ 2023-06-10 11:07 荣锋亮 阅读(44) 评论(0) 推荐(0)
nginx-clojure 0.6.0 的一些新特性
摘要：
昨天制作了0.6.0 的docker 镜像，并说明了一些问题，以下简单说明下一些新特性 新特性 所有的handler 可以在http 以及server context 使用了，可以方便进行组合使用 nginx 1.23.x 支持 jdk 19 支持，支持协程了 官方提供的二进制构建基于1.23.3 阅读全文
posted @ 2023-06-10 10:36 荣锋亮 阅读(56) 评论(0) 推荐(0)
nginx-clojure 0.6.0 docker 镜像
摘要：
nginx-clojure 0.6.0 已经发布了，已经制作了一个0.5.3 的镜像，也就顺便弄下最新版本的，但是发现了一些问题 clojure 依赖包问题 因为最新的使用了1.9.0 ，目前官方提供的构建版本缺少几个依赖 core.specs.alpha以及spec.alpha 所以修复并添加了 阅读全文
posted @ 2023-06-09 13:59 荣锋亮 阅读(34) 评论(0) 推荐(0)
haproxy 2.8 发布
摘要：
最近haproxy 2.8 发布了，提供了不少新特性，以及新能上的提升 新特性 lua 的邮件通知 新的lua 事件框架 lua 队列支持 更多新的可以lua 访问的server 函数 lua 执行超时指令 http 客户端可以禁用默认dns直接 request 以及response 的http 压 阅读全文
posted @ 2023-06-09 09:43 荣锋亮 阅读(199) 评论(0) 推荐(0)
通过ftp & sftp 进行minio 管理
摘要：
minio 4.20 发布的版本支持基于ftp 以及sftp 进行minio 管理了，对于一些业务需要使用ftp 以及sftp 的就比较方便了 我们同时可以使用多协议模式进行minio 访问了 参考使用 docker-compose version: '3' services: app: image 阅读全文
posted @ 2023-06-09 08:53 荣锋亮 阅读(2528) 评论(3) 推荐(0)
graalvm nodejs + spire office 实现office 处理
摘要：
实际上是一个比较简单的处理，主要是利用了graalvm 的nodejs 可以方便的使用外部jar ，我们就可以使用其他nodejs web 框架，结合spire office 实现专业可靠的office 转换处理 预备 主要是安装graalvm 以及nodejs graalvm 已经不支持包含nod 阅读全文
posted @ 2023-06-08 23:00 荣锋亮 阅读(213) 评论(0) 推荐(0)
platformatic 开源api 平台
摘要：
platformatic 是基于nodejs 开发的，可以方便进行api 开发以及管理的平台 支持的特性 可以基于nodejs 以及fastify 插件进行扩展 自动ts 提示 prometheus 支持 open api，graphql 支持 开发环境快速reload 基于文件的路由 三方api 阅读全文
posted @ 2023-06-08 15:14 荣锋亮 阅读(204) 评论(0) 推荐(0)
go-tc golang tc 工具包
摘要：
go-tc 是基于golang 的限速工具包，可以通过修改队列通过filter 以及类别进行限速处理，是一个听方便的golang 包类似的有基于cli 的wondershaper 可以通过cli 实现限速 参考资料 https://github.com/florianl/go-tchttps://g 阅读全文
posted @ 2023-06-08 14:56 荣锋亮 阅读(167) 评论(0) 推荐(0)
cedar amazon 开源的安全框架
摘要：
cedar amazon 开源的安全框架，包含了指南，一个基于rust 的实现（当然还包含了一些其他语言的binding）目前已经提供了RBAC 以及ABAC 能力，casbin 是一个比较类似的东西，功能点是有一些差异，是一个值得看看学习的项目 参考资料 https://aws.amazon.co 阅读全文
posted @ 2023-06-07 08:45 荣锋亮 阅读(89) 评论(0) 推荐(0)
gosec 基于ast 的golang 安全检查工具
摘要：
gosec 基于ast 的golang 安全检查工具，核心是基于了一些rule 进行安全的处理 参考使用 安装 官方提供了对应操作系统的包，安装就可以了,也可以使用go install 命令安装 使用 当然gosec 还有其他命令可以选择，具体可以通过gosec 查看 gosec . 参考资料 ht 阅读全文
posted @ 2023-06-06 08:23 荣锋亮 阅读(220) 评论(0) 推荐(0)
arroyo 0.3.0 新特性
摘要：
arroyo 0.3.0 提供了不少新特性，比如更好的sql 支持，以及最小系统的udf 之一，ddl 支持，自定义事件事件，以及水印支持 说明 arroyo 0.4.0规划了不少新特性，比如支持debezium 的cdc 支持mysql 以及pg 的连接，同时还有支持delta lake 集成，值 阅读全文
posted @ 2023-06-05 23:09 荣锋亮 阅读(53) 评论(0) 推荐(0)
tink google 加密安全实践的框架
摘要：
tink 是google 多年加密实践的框架，提供了安全的加密处理方法，可以简化不少我们的加密处理 参考使用 public static void main(String[] args) throws GeneralSecurityException, IOException { AeadConfi 阅读全文
posted @ 2023-06-03 10:33 荣锋亮 阅读(174) 评论(0) 推荐(0)
keydb 6.3. 3发布
摘要：
就在最近keydb 发布了6.3.3版本，属于最后支持一些老版本linux 的系统了（比如centos7，ubuntu 16，18），核心主要是rocksdb 对于系统支持的问题同时此版本也进行了不少功能上的fix，最好还是进行系统升级吧，尤其是centos 7 现在越来越多的软件运行有问题了 参考 阅读全文
posted @ 2023-06-03 10:07 荣锋亮 阅读(59) 评论(0) 推荐(0)
trc golang 进程请求追踪包
摘要：
trc 是一个方便的golang 进程请求追踪框架，可以提供方便的请求追踪查看 参考使用 代码来说官方示例,完整的可以查看官方 package main import ( "context" "fmt" "log" "math/rand" "net/http" "net/http/httptest" 阅读全文
posted @ 2023-06-03 10:02 荣锋亮 阅读(50) 评论(0) 推荐(0)
pgcenter 类似top 的pg 观测cli工具
摘要：
pgcenter 是基于golang 开发的，类似top 观测pg 运行情况的工具，内部支持了不少pg 扩展系统的metrics 指标 特性 类似top 支持配置管理（查看以及编辑，同时还支持reload） 日志文件查看 支持等待事件的profiler 说明 pgcenter 工具是一个值得使用的工 阅读全文
posted @ 2023-06-03 09:16 荣锋亮 阅读(83) 评论(0) 推荐(0)
virtink k8s 轻量级虚拟机化扩展
摘要：
virtink 是基于cloud hypervisor 的k8s 虚拟化扩展 相比kubevirt的一些对比 使用了cloud hypervisor ，相对更加轻量，没有使用libvirt 或者qemu 不需要使用long runing pod 隔离性更加好,可以更好的支持k8s in k8s 参考 阅读全文
posted @ 2023-05-31 21:43 荣锋亮 阅读(239) 评论(0) 推荐(0)
adr 方便的架构决策记录方法
摘要：
adr 是编译中方便的架构决策记录方法，同时也纳入了技术雷达中，是一个很值得使用的模式 包含的内容 一般会包含标题，状态，上下文，决策，以及影响，aws 官方包含了很不错的例子，值得学习下 格式 对于存储格式没明确要求，实际上github 有一个adr 的组织，包含了不少实现工具，很值得参考学习对于 阅读全文
posted @ 2023-05-31 21:11 荣锋亮 阅读(116) 评论(0) 推荐(0)
SAI 交换机抽象接口
摘要：
对于网络交换机开发协议驱动开发，linux 缺少标准（其他的网络，文件系统都包含了标准的开发流程），SAI 是一个开放标准，方便扩展 参考图 说明 SAI 同时包含了内核太以及用户太的定义，可以简化开发 参考资料 https://github.com/opencomputeproject/SAI/b 阅读全文
posted @ 2023-05-27 15:31 荣锋亮 阅读(401) 评论(0) 推荐(0)
pongo2 类似django 语法的golang 模版引擎
摘要：
pongo2 类似django 语法的golang 模版引擎，当前兼容django 1.7 同时还包含了强大的三方生态支持（比如beego，gin，echo 框架。。。） 参考使用 main.go package main import ( "fmt" "log" "github.com/flosc 阅读全文
posted @ 2023-05-27 14:07 荣锋亮 阅读(151) 评论(0) 推荐(0)
浙公网安备 33010602011771号