cerbos 参考试用
摘要：
主要是基于本地存储策略，使用nodejs 的客户端进行认证的试用 环境准备 docker-compose version: "3" services: cerbos: image: ghcr.io/cerbos/cerbos:latest volumes: - ./policies:/policie 阅读全文
posted @ 2023-10-12 21:01 荣锋亮 阅读(68) 评论(0) 推荐(0)
cerbos 参考部署架构
摘要：
cerbos 官方提供了几种部署模式，很值得学习参考，这样才能保证我们业务系统的可靠稳定 参考部署模式 集中式模式 此模式结合负载均衡器，可以部署多cerbos示例，然后共享策略定义，应用通过lb 提供的地址进行连接 sidecar 模式 比较适合容器运行的场景，每个业务pod 会有一个独立运行的c 阅读全文
posted @ 2023-10-12 20:43 荣锋亮 阅读(82) 评论(0) 推荐(0)
cerbos 开源语言无关的授权解决方案
摘要：
cerbos 实现了与casbin 类似的功能，但是casbin 需要自己基于adapter 实现数据存储的处理，cerbos 核心主要是配置策略，然后基于传递的数据进行check 参考架构 业务使用 说明 策略定义上与casbin 以及aws iam 的一些玩法比较类似，但是cerbos 提供了g 阅读全文
posted @ 2023-10-12 16:11 荣锋亮 阅读(181) 评论(0) 推荐(0)
nodejs xxl-job-executor 客户端试用
摘要：
代码fork 自awesomeoxc/xxl-job-executor-nodejs，进行了一些以来包的升级，同时发布npm包到npm 仓库中，方便使用 npm 包名称 npm 包我已经发布npm 仓库中了，可以直接使用@dalongrong/xxl-job-executor 参考使用 安装 npm 阅读全文
posted @ 2023-10-11 14:30 荣锋亮 阅读(557) 评论(0) 推荐(0)
mountpoint-s3 ga 并提供了安装包
摘要：
mountpoint-s3 就在最近ga 了，同时还提供了rpm 以及deb 包，可以方便安装使用 安装 直接下载对应的包，安装就可以了，比如下载rpm 的然后yum install 就可以了，但是因为默认没有systemd 管理，需要自己配置 参考使用 环境配置 version: "3" serv 阅读全文
posted @ 2023-10-11 10:17 荣锋亮 阅读(55) 评论(0) 推荐(0)
node-oracledb thin 模式试用
摘要：
node-oracledb client 已经支持thin 模式了，npm 包小了很多，以下是一个测试 环境准备 基于容器部署的oracle docker-compose version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim p 阅读全文
posted @ 2023-10-08 20:10 荣锋亮 阅读(181) 评论(0) 推荐(0)
node-oracledb nodejs 包支持thin 模式了
摘要：
node-oracledb 从v6.0.0 版本来时支持thin 模式了，是基于纯javascript 开发的驱动，我们终于可以不用依赖比较笨重的oracle client 了属于一个很大的进度，同时python 版本也是支持thin 模式了，我以前也简单介绍过 参考资料 https://githu 阅读全文
posted @ 2023-10-08 19:04 荣锋亮 阅读(265) 评论(0) 推荐(0)
retrofit.dart retrofit 的dart 版本实现
摘要：
retrofit.dart retrofit 的dart 版本实现，利用了代码生成技术，不像java 使用的是动态代理，以下是一个参考试用 项目集成 依赖配置 name: cli description: A sample command-line application. version: 1.0 阅读全文
posted @ 2023-10-08 18:20 荣锋亮 阅读(76) 评论(0) 推荐(0)
pgtune pg 配置优化工具
摘要：
pgtune 是一个web 工具，可以基于一些最佳实践提供pg server 的配置，对于想快速进行pg 数据库优化的是一个不错的工具使用简单，同时也提供了web site 可以方便使用 参考资料 https://github.com/le0pard/pgtunehttps://pgtune.leo 阅读全文
posted @ 2023-10-08 09:13 荣锋亮 阅读(171) 评论(0) 推荐(0)
使用jprofiler 14 查看dremio 的grpc 调用
摘要：
我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制 环境配置 这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的） 参考效果 参考 阅读全文
posted @ 2023-10-07 12:48 荣锋亮 阅读(75) 评论(0) 推荐(0)
python 3.12.0 perf 试用
摘要：
python 3.12.0 的发布，官方支持了基于perf 的调用链分析，基于容器搞了一个简单的环境测试下 环境准备 包含了包含perf 的python 基础镜像，以及一个使用flask 的web 服务, 使用flamescope 的可视化页面分析 docker-compose 文件 version 阅读全文
posted @ 2023-10-07 12:29 荣锋亮 阅读(163) 评论(0) 推荐(0)
maestro studio 简化编写测试worflow 的工具
摘要：
对于自己编写workflow 有时可能会比较复杂，maestro studio提供了基于ai 的强大能力，同时可以实时模拟器的页面与web 集成对于测试人员来说是一个很不错的选择，很值得看看，同时因为maestro studio 也是开源的，代码上也值得学习参考 参考资料 https://maest 阅读全文
posted @ 2023-10-07 10:52 荣锋亮 阅读(98) 评论(0) 推荐(0)
maestro ios 简单试用
摘要：
主要是体验下maestro 的使用 预备 对于ios 需要以来facebook 的idb 需要安装 参考安装命令 brew tap facebook/fb brew install facebook/fb/idb-companion 试用 下载示例 直接使用maestro 自带的 maestro d 阅读全文
posted @ 2023-10-07 10:43 荣锋亮 阅读(103) 评论(0) 推荐(0)
maestro 移动ui 自动化测试框架
摘要：
maestro 是一个移动ui 自动化测试框架，基于yaml 定义就可以快速的实现移动ui 的测试，支持ios，android，reactnatice，fluttermaestro 安装简单，就是一个二进制文件 说明 对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具 参考资料 阅读全文
posted @ 2023-10-07 10:25 荣锋亮 阅读(476) 评论(0) 推荐(0)
dbt 数据可观测性相关的一些扩展包
摘要：
随着大家对于数据质量越来越重视，数据可观测性已经成为一个比较重要的工程化实践了，dbt core 实际上已经包含了一些简单的数据质量能力（比如model schema 定义中关于test 的处理），但是默认的还是比较弱，所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量，以下是一个整 阅读全文
posted @ 2023-10-07 10:15 荣锋亮 阅读(102) 评论(0) 推荐(0)
使用pyenv 安装graalvm 23.1.0 试用
摘要：
实际上graalvm 官方也有介绍基于pyenv 安装graalvm python 包的 安装 命令 pyenv install graalpy-23.1.0 效果 注意有些慢 使用 切换版本 pyenv local graalpy-23.1.0 执行python 代码 python app,py 阅读全文
posted @ 2023-10-06 22:43 荣锋亮 阅读(114) 评论(0) 推荐(0)
polars 基于rust 的dataframe 框架
摘要：
polars 基于rust 开发，使用了arrow 列式存储格式实现的dataframe 框架 支持的特性 lazy ｜ eager 之行 多线程 SIMD 查询优化 强大的表达式api 混合streaming （可以支持大于内存的数据） 支持各种语言调度（python，rust，nodejs，r） 阅读全文
posted @ 2023-10-06 10:34 荣锋亮 阅读(310) 评论(0) 推荐(0)
stepci 试用
摘要：
stepci 是一个api 自动测试工具，以下是一个简单的试用 试用 支持的命令 package.json { "devDependencies": { "stepci": "^2.6.8" }, "scripts": { "app":"export STEPCI_DISABLE_ANALYTICS 阅读全文
posted @ 2023-10-06 10:16 荣锋亮 阅读(48) 评论(0) 推荐(0)
stepci 开源api 自动测试框架
摘要：
stepci 是基于nodejs 开发的，开源api 自动测试框架 包含的特性 语言无关 可以基于yaml，json，js 定义 支持多种框架 rest，graphl，grpc，trpc，soap 自托管 可以集成到ci/cd中，同时可以自己部署与行 可集成 可以很好的与其他工具集成 说明 step 阅读全文
posted @ 2023-10-06 09:59 荣锋亮 阅读(42) 评论(0) 推荐(0)
dremio 24.2 新增druid arp 扩展
摘要：
dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中， 我们可以通过反编译学习 参考图 参考资料 https://druid.apache.org/ 阅读全文
posted @ 2023-10-04 23:07 荣锋亮 阅读(20) 评论(0) 推荐(0)
dremio 24.2 社区版发布
摘要：
就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性 主要新特性 delta lake 不少新功能支持（历史，快照） 反射hints 支持（可以基于声明式定义） 一些新的半结构化数据聚合参数 自动反射推荐功能(属于企业版特性) 一些查询计划的优化（主要是修复一些历史之行计划的问 阅读全文
posted @ 2023-10-04 10:49 荣锋亮 阅读(89) 评论(0) 推荐(0)
apache hop kettle 替换方案
摘要：
apache hop 是一个apache 开源的 kettle替换方案，提供了kettle 任务的导入能力，整体来说目前估计ga 了，而且还算活跃 参考架构 如下图，包含了gui，server，metadata store，runner。。。还是比较完整的 支持的功能 pipeline 开发 就是k 阅读全文
posted @ 2023-10-04 09:36 荣锋亮 阅读(857) 评论(0) 推荐(0)
gradio 机器学习应用共享框架
摘要：
gradio 是一个机器学习应用共享框架，不少开源机器学习模型都基于gradio 提供了可以快速体验模型的ui 参考使用 安装 pip install gradio 简单代码 app.py import gradio as gr def greet(name): return "Hello " + 阅读全文
posted @ 2023-10-02 20:56 荣锋亮 阅读(312) 评论(0) 推荐(0)
modin pandas 大规模数据处理方案
摘要：
modin 是一个可以快速替换原生pandas 的方案，我们只需要替换一个简单的引用，就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成（ray, dask,unidisk）,目前modin 对于常用read 操作都有很不错的支持，参考图 参考架构 如下图，可以看出mo 阅读全文
posted @ 2023-10-01 21:57 荣锋亮 阅读(128) 评论(0) 推荐(0)
aws awswrangler 集成minio 简单试用
摘要：
aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称 以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法 环境准备 docker-compose 阅读全文
posted @ 2023-10-01 21:34 荣锋亮 阅读(115) 评论(0) 推荐(0)
pandas 加载minio 文件数据
摘要：
就是一个简单记录，基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment 阅读全文
posted @ 2023-10-01 09:03 荣锋亮 阅读(221) 评论(0) 推荐(0)
citus 12.1 新特性
摘要：
最近pg 16的发布了，citus 也比较快直接很快就支持16了，同时citus 也发布了12.1 版本以下是一些新特性 新特性 pg 16 支持以及比较多的pg 16 特新到citus 分布式表的支持 pg 16 load lalance 支持，实际上是从citus 合并到pg 的 pg json 阅读全文
posted @ 2023-09-30 15:18 荣锋亮 阅读(162) 评论(0) 推荐(0)
tusd 2.0 发布
摘要：
tusd 是基于golang 开发的，对于tus 断点续传协议的实现，既可以做为server 使用，也可以使用golang 包，开发自己的文件存储服务2.0了有不少提升，核心主要是hook 系统，类似的nodejs server 也实现不少hook，支持IETF 协议了，同时也提升了网络可靠性 说明 阅读全文
posted @ 2023-09-30 11:29 荣锋亮 阅读(207) 评论(0) 推荐(0)
dbt dbt-project-evaluator 扩展
摘要：
dbt-project-evaluator 是官方提供的一个dbt 扩展，可以方便的自动帮助我们发现模型DAG的问题 支持的功能 协助模型的最佳实践 协助测试的最佳实践 协助文档的最佳实践 协助项目文件结构的最佳实践 协助模型物化最佳实践 协助模型治理最佳实践 目前支持的数据库 bigquery d 阅读全文
posted @ 2023-09-30 11:14 荣锋亮 阅读(46) 评论(0) 推荐(0)
nginx-clojure nginx 1.25.2 版本docker 镜像
摘要：
主要是测试下nginx-clojure 有nginx 1.25.2 的兼容性，顺便基于原有的构建弄一个方便测试的debug 版本的镜像 构建 构建命令 实际结合业务修改下 ./configure --prefix= --sbin-path=nginx --conf-path=conf/nginx.c 阅读全文
posted @ 2023-09-26 10:36 荣锋亮 阅读(222) 评论(0) 推荐(0)
开发一个简单的swift 包
摘要：
swift 对于包包含了比较严格的访问控制，套路上与rust 比较类似，一般开发的项目都是自己项目的代码，以及引用别人开发 好的包，但是很多时候可能会有自己开发包共享别人的场景 简单包 可以直接使用swift 的cli 创建，或者手工 代码结构 ├── Package.swift └── Sourc 阅读全文
posted @ 2023-09-24 10:40 荣锋亮 阅读(78) 评论(0) 推荐(0)
vapor 基于swift 的web 框架
摘要：
vapor是基于swift 的web 框架，包含了不少功能，官方也提供了不少扩展，同时官方提供的模版可以直接基于docker 运行 说明 对于希望学习swift 同时基于swift 开发web 应用的是一个不错的选择，可以学习练练手 参考资料 https://vapor.codes/https:// 阅读全文
posted @ 2023-09-22 22:25 荣锋亮 阅读(138) 评论(0) 推荐(0)
'main' attribute cannot be used in a module that contains top-level code 问题解决
摘要：
核心是@main 注解在main.swift 文件中，可以重新命名下 参考资料 https://stackoverflow.com/questions/73431031/swift-cli-app-main-attribute-cannot-be-used-in-a-module-that-cont 阅读全文
posted @ 2023-09-22 22:15 荣锋亮 阅读(94) 评论(0) 推荐(0)
graalvm 23.1.0 python 试用
摘要：
graalvm 23.1.0 开始python 集成也做为一个独立的包了，同时官方文档也有一些安装说明，比如下载包的，基于pyenv的 目前pyenv 的是不成功的（repo 似乎还没更新） 安装 直接使用安装包，直接可以github 下载，包含了不同的版本，直接可以下载企业版使用 参考代码 app 阅读全文
posted @ 2023-09-21 17:01 荣锋亮 阅读(490) 评论(0) 推荐(0)
graalvm 23.1.0 关于python 集成的说明
摘要：
从graalvm 23.1.0 开始，python 的集成与nodejs 类似也是独立了，使用上与nodejs 类似，可以简化不少集成 参考资料 https://github.com/oracle/graalpython/releases/tag/graal-23.1.0https://www.gr 阅读全文
posted @ 2023-09-20 11:18 荣锋亮 阅读(164) 评论(0) 推荐(0)
graalvm 23.1.0 独立nodejs docker 镜像&简单试用
摘要：
graaljs docker 镜像 很简单就是下载官方包，集成下，然后进行一些简单的配置 Dockerfile FROM debian:bullseye-backports LABEL author="rongfengliang" LABEL email="1141591465@qq.com" WO 阅读全文
posted @ 2023-09-20 11:09 荣锋亮 阅读(227) 评论(0) 推荐(0)
graalvm 23.1.0 开始 js 引擎独立了
摘要：
从graalvm 23.1.0 开始graaljs 可以独立使用了，这样就方便了不少，我们可以集成jvm 同时也可以集成nodejs 但是软件包会小不少有利用项目的使用，目前来说官方提供了不同版本的，包含了js 命令的nodejs 的同时包含jvm 的对于社区版包含了-community，jvm的包 阅读全文
posted @ 2023-09-20 10:32 荣锋亮 阅读(736) 评论(0) 推荐(0)
graalvm jdk 21 版本发布
摘要：
graalvm 效率还是挺快的，java 21 版本虚拟线程以及ga可，graalvm 对于21 版本支持的发布，让我们也可以直接使用了从官方介绍以及解决来看，性能提升是很大的，在一些测试场景中 native image 比C2 jit 还快 说明 目前官方已经提供了21 的下载包可以体验使用 参考 阅读全文
posted @ 2023-09-20 09:46 荣锋亮 阅读(534) 评论(0) 推荐(0)
一些不错的python 特征工程包
摘要：
特征工程在机器学习中是比较重要的，而且也是比较花费时间的，而且对于不同场景的业务（序列，机器视觉，NLP）会有不同的处理方式，整理了一些日常使用比较多的工具，可以参考 工具包 scikit-learn 比较老牌了，提供了不少特征工程的工具包，同时也提供了不少相关的算法实现 autofeat 实现上与 阅读全文
posted @ 2023-09-20 09:15 荣锋亮 阅读(184) 评论(0) 推荐(0)
cloudpickle pickle 扩展包
摘要：
pickle 是python的序列化包，但是默认pickle 不能进行lambda 的处理，cloudpickle 对于pickle 进行了一些扩展，可以更好的支持 集群节点之间的共享以及计算，同时apache spark 的pyspark 也集成了此功能，只是是自己fork的完整代码 参考使用 d 阅读全文
posted @ 2023-09-19 17:09 荣锋亮 阅读(192) 评论(0) 推荐(0)
浙公网安备 33010602011771号