荣锋亮 - 博客园

cerbos minio s3 存储试用

摘要： cerbos 支持blob 存储，以下是关于minio s3 的集成试用环境准备 docker-compose version: "3" services: minio: image: minio/minio ports: - "9000:9000" - "9001:9001" command: 阅读全文

posted @ 2023-10-12 22:38 荣锋亮阅读(73) 评论(0) 推荐(0)

cerbos 参考试用

摘要：主要是基于本地存储策略，使用nodejs 的客户端进行认证的试用环境准备 docker-compose version: "3" services: cerbos: image: ghcr.io/cerbos/cerbos:latest volumes: - ./policies:/policie 阅读全文

posted @ 2023-10-12 21:01 荣锋亮阅读(78) 评论(0) 推荐(0)

cerbos 参考部署架构

摘要： cerbos 官方提供了几种部署模式，很值得学习参考，这样才能保证我们业务系统的可靠稳定参考部署模式集中式模式此模式结合负载均衡器，可以部署多cerbos示例，然后共享策略定义，应用通过lb 提供的地址进行连接 sidecar 模式比较适合容器运行的场景，每个业务pod 会有一个独立运行的c 阅读全文

posted @ 2023-10-12 20:43 荣锋亮阅读(92) 评论(0) 推荐(0)

cerbos 开源语言无关的授权解决方案

摘要： cerbos 实现了与casbin 类似的功能，但是casbin 需要自己基于adapter 实现数据存储的处理，cerbos 核心主要是配置策略，然后基于传递的数据进行check 参考架构业务使用说明策略定义上与casbin 以及aws iam 的一些玩法比较类似，但是cerbos 提供了g 阅读全文

posted @ 2023-10-12 16:11 荣锋亮阅读(208) 评论(0) 推荐(0)

nodejs xxl-job-executor 客户端试用

摘要：代码fork 自awesomeoxc/xxl-job-executor-nodejs，进行了一些以来包的升级，同时发布npm包到npm 仓库中，方便使用 npm 包名称 npm 包我已经发布npm 仓库中了，可以直接使用@dalongrong/xxl-job-executor 参考使用安装 npm 阅读全文

posted @ 2023-10-11 14:30 荣锋亮阅读(583) 评论(0) 推荐(0)

mountpoint-s3 ga 并提供了安装包

摘要： mountpoint-s3 就在最近ga 了，同时还提供了rpm 以及deb 包，可以方便安装使用安装直接下载对应的包，安装就可以了，比如下载rpm 的然后yum install 就可以了，但是因为默认没有systemd 管理，需要自己配置参考使用环境配置 version: "3" serv 阅读全文

posted @ 2023-10-11 10:17 荣锋亮阅读(71) 评论(0) 推荐(0)

node-oracledb thin 模式试用

摘要： node-oracledb client 已经支持thin 模式了，npm 包小了很多，以下是一个测试环境准备基于容器部署的oracle docker-compose version: '3' services: db: image: gvenzl/oracle-xe:21.3.0-slim p 阅读全文

posted @ 2023-10-08 20:10 荣锋亮阅读(192) 评论(0) 推荐(0)

node-oracledb nodejs 包支持thin 模式了

摘要： node-oracledb 从v6.0.0 版本来时支持thin 模式了，是基于纯javascript 开发的驱动，我们终于可以不用依赖比较笨重的oracle client 了属于一个很大的进度，同时python 版本也是支持thin 模式了，我以前也简单介绍过参考资料 https://githu 阅读全文

posted @ 2023-10-08 19:04 荣锋亮阅读(284) 评论(0) 推荐(0)

retrofit.dart retrofit 的dart 版本实现

摘要： retrofit.dart retrofit 的dart 版本实现，利用了代码生成技术，不像java 使用的是动态代理，以下是一个参考试用项目集成依赖配置 name: cli description: A sample command-line application. version: 1.0 阅读全文

posted @ 2023-10-08 18:20 荣锋亮阅读(88) 评论(0) 推荐(0)

pgtune pg 配置优化工具

摘要： pgtune 是一个web 工具，可以基于一些最佳实践提供pg server 的配置，对于想快速进行pg 数据库优化的是一个不错的工具使用简单，同时也提供了web site 可以方便使用参考资料 https://github.com/le0pard/pgtunehttps://pgtune.leo 阅读全文

posted @ 2023-10-08 09:13 荣锋亮阅读(187) 评论(0) 推荐(0)

使用jprofiler 14 查看dremio 的grpc 调用

摘要：我以前也写过使用就profiler分析dremio 调用链的，jprofiler 14 支持独立的grpc 功能节点了，可以方便我们了解dremio 内部grpc 的调用机制环境配置这个就比较简单了，具体可以参考我以前写的文章（包含了基于agent 模式以及attach 模式的）参考效果参考阅读全文

posted @ 2023-10-07 12:48 荣锋亮阅读(86) 评论(0) 推荐(0)

python 3.12.0 perf 试用

摘要： python 3.12.0 的发布，官方支持了基于perf 的调用链分析，基于容器搞了一个简单的环境测试下环境准备包含了包含perf 的python 基础镜像，以及一个使用flask 的web 服务, 使用flamescope 的可视化页面分析 docker-compose 文件 version 阅读全文

posted @ 2023-10-07 12:29 荣锋亮阅读(179) 评论(0) 推荐(0)

maestro studio 简化编写测试worflow 的工具

摘要：对于自己编写workflow 有时可能会比较复杂，maestro studio提供了基于ai 的强大能力，同时可以实时模拟器的页面与web 集成对于测试人员来说是一个很不错的选择，很值得看看，同时因为maestro studio 也是开源的，代码上也值得学习参考参考资料 https://maest 阅读全文

posted @ 2023-10-07 10:52 荣锋亮阅读(113) 评论(0) 推荐(0)

maestro ios 简单试用

摘要：主要是体验下maestro 的使用预备对于ios 需要以来facebook 的idb 需要安装参考安装命令 brew tap facebook/fb brew install facebook/fb/idb-companion 试用下载示例直接使用maestro 自带的 maestro d 阅读全文

posted @ 2023-10-07 10:43 荣锋亮阅读(118) 评论(0) 推荐(0)

maestro 移动ui 自动化测试框架

摘要： maestro 是一个移动ui 自动化测试框架，基于yaml 定义就可以快速的实现移动ui 的测试，支持ios，android，reactnatice，fluttermaestro 安装简单，就是一个二进制文件说明对于需要进行移动端自动化测试的团队maestro 是一个很值得使用的工具参考资料阅读全文

posted @ 2023-10-07 10:25 荣锋亮阅读(501) 评论(0) 推荐(0)

dbt 数据可观测性相关的一些扩展包

摘要：随着大家对于数据质量越来越重视，数据可观测性已经成为一个比较重要的工程化实践了，dbt core 实际上已经包含了一些简单的数据质量能力（比如model schema 定义中关于test 的处理），但是默认的还是比较弱，所以社区以及dbt 官方提供了不少其他的扩展可以更好的支持数据质量，以下是一个整阅读全文

posted @ 2023-10-07 10:15 荣锋亮阅读(112) 评论(0) 推荐(0)

使用pyenv 安装graalvm 23.1.0 试用

摘要：实际上graalvm 官方也有介绍基于pyenv 安装graalvm python 包的安装命令 pyenv install graalpy-23.1.0 效果注意有些慢使用切换版本 pyenv local graalpy-23.1.0 执行python 代码 python app,py 阅读全文

posted @ 2023-10-06 22:43 荣锋亮阅读(127) 评论(0) 推荐(0)

polars 基于rust 的dataframe 框架

摘要： polars 基于rust 开发，使用了arrow 列式存储格式实现的dataframe 框架支持的特性 lazy ｜ eager 之行多线程 SIMD 查询优化强大的表达式api 混合streaming （可以支持大于内存的数据）支持各种语言调度（python，rust，nodejs，r）阅读全文

posted @ 2023-10-06 10:34 荣锋亮阅读(328) 评论(0) 推荐(0)

stepci 试用

摘要： stepci 是一个api 自动测试工具，以下是一个简单的试用试用支持的命令 package.json { "devDependencies": { "stepci": "^2.6.8" }, "scripts": { "app":"export STEPCI_DISABLE_ANALYTICS 阅读全文

posted @ 2023-10-06 10:16 荣锋亮阅读(59) 评论(0) 推荐(0)

stepci 开源api 自动测试框架

摘要： stepci 是基于nodejs 开发的，开源api 自动测试框架包含的特性语言无关可以基于yaml，json，js 定义支持多种框架 rest，graphl，grpc，trpc，soap 自托管可以集成到ci/cd中，同时可以自己部署与行可集成可以很好的与其他工具集成说明 step 阅读全文

posted @ 2023-10-06 09:59 荣锋亮阅读(53) 评论(0) 推荐(0)

dremio 24.2 新增druid arp 扩展

摘要： dremio 24.2 新增druid arp 扩展，此扩展在jdbc ce 版本的plugin 中，我们可以通过反编译学习参考图参考资料 https://druid.apache.org/ 阅读全文

posted @ 2023-10-04 23:07 荣锋亮阅读(21) 评论(0) 推荐(0)

dremio 24.2 社区版发布

摘要：就在昨天，dremio 提供了社区版的下载地址，24.2 提供了不少新特性主要新特性 delta lake 不少新功能支持（历史，快照）反射hints 支持（可以基于声明式定义）一些新的半结构化数据聚合参数自动反射推荐功能(属于企业版特性) 一些查询计划的优化（主要是修复一些历史之行计划的问阅读全文

posted @ 2023-10-04 10:49 荣锋亮阅读(98) 评论(0) 推荐(0)

apache hop kettle 替换方案

摘要： apache hop 是一个apache 开源的 kettle替换方案，提供了kettle 任务的导入能力，整体来说目前估计ga 了，而且还算活跃参考架构如下图，包含了gui，server，metadata store，runner。。。还是比较完整的支持的功能 pipeline 开发就是k 阅读全文

posted @ 2023-10-04 09:36 荣锋亮阅读(921) 评论(0) 推荐(0)

gradio 机器学习应用共享框架

摘要： gradio 是一个机器学习应用共享框架，不少开源机器学习模型都基于gradio 提供了可以快速体验模型的ui 参考使用安装 pip install gradio 简单代码 app.py import gradio as gr def greet(name): return "Hello " + 阅读全文

posted @ 2023-10-02 20:56 荣锋亮阅读(324) 评论(0) 推荐(0)

modin pandas 大规模数据处理方案

摘要： modin 是一个可以快速替换原生pandas 的方案，我们只需要替换一个简单的引用，就可以将pandas 的数据处理速度有很大的提升modin 支持与不少框架的集成（ray, dask,unidisk）,目前modin 对于常用read 操作都有很不错的支持，参考图参考架构如下图，可以看出mo 阅读全文

posted @ 2023-10-01 21:57 荣锋亮阅读(141) 评论(0) 推荐(0)

aws awswrangler 集成minio 简单试用

摘要： aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法环境准备 docker-compose 阅读全文

posted @ 2023-10-01 21:34 荣锋亮阅读(125) 评论(0) 推荐(0)

pandas 加载minio 文件数据

摘要：就是一个简单记录，基于s3 进行文件存储还是比较方便的环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment 阅读全文

posted @ 2023-10-01 09:03 荣锋亮阅读(237) 评论(0) 推荐(0)

citus 12.1 新特性

摘要：最近pg 16的发布了，citus 也比较快直接很快就支持16了，同时citus 也发布了12.1 版本以下是一些新特性新特性 pg 16 支持以及比较多的pg 16 特新到citus 分布式表的支持 pg 16 load lalance 支持，实际上是从citus 合并到pg 的 pg json 阅读全文

posted @ 2023-09-30 15:18 荣锋亮阅读(179) 评论(0) 推荐(0)

tusd 2.0 发布

摘要： tusd 是基于golang 开发的，对于tus 断点续传协议的实现，既可以做为server 使用，也可以使用golang 包，开发自己的文件存储服务2.0了有不少提升，核心主要是hook 系统，类似的nodejs server 也实现不少hook，支持IETF 协议了，同时也提升了网络可靠性说明阅读全文

posted @ 2023-09-30 11:29 荣锋亮阅读(225) 评论(0) 推荐(0)

dbt dbt-project-evaluator 扩展

摘要： dbt-project-evaluator 是官方提供的一个dbt 扩展，可以方便的自动帮助我们发现模型DAG的问题支持的功能协助模型的最佳实践协助测试的最佳实践协助文档的最佳实践协助项目文件结构的最佳实践协助模型物化最佳实践协助模型治理最佳实践目前支持的数据库 bigquery d 阅读全文

posted @ 2023-09-30 11:14 荣锋亮阅读(53) 评论(0) 推荐(0)

nginx-clojure nginx 1.25.2 版本docker 镜像

摘要：主要是测试下nginx-clojure 有nginx 1.25.2 的兼容性，顺便基于原有的构建弄一个方便测试的debug 版本的镜像构建构建命令实际结合业务修改下 ./configure --prefix= --sbin-path=nginx --conf-path=conf/nginx.c 阅读全文

posted @ 2023-09-26 10:36 荣锋亮阅读(240) 评论(0) 推荐(0)

开发一个简单的swift 包

摘要： swift 对于包包含了比较严格的访问控制，套路上与rust 比较类似，一般开发的项目都是自己项目的代码，以及引用别人开发好的包，但是很多时候可能会有自己开发包共享别人的场景简单包可以直接使用swift 的cli 创建，或者手工代码结构 ├── Package.swift └── Sourc 阅读全文

posted @ 2023-09-24 10:40 荣锋亮阅读(90) 评论(0) 推荐(0)

vapor 基于swift 的web 框架

摘要： vapor是基于swift 的web 框架，包含了不少功能，官方也提供了不少扩展，同时官方提供的模版可以直接基于docker 运行说明对于希望学习swift 同时基于swift 开发web 应用的是一个不错的选择，可以学习练练手参考资料 https://vapor.codes/https:// 阅读全文

posted @ 2023-09-22 22:25 荣锋亮阅读(148) 评论(0) 推荐(0)

'main' attribute cannot be used in a module that contains top-level code 问题解决

摘要：核心是@main 注解在main.swift 文件中，可以重新命名下参考资料 https://stackoverflow.com/questions/73431031/swift-cli-app-main-attribute-cannot-be-used-in-a-module-that-cont 阅读全文

posted @ 2023-09-22 22:15 荣锋亮阅读(108) 评论(0) 推荐(0)

graalvm 23.1.0 python 试用

摘要： graalvm 23.1.0 开始python 集成也做为一个独立的包了，同时官方文档也有一些安装说明，比如下载包的，基于pyenv的目前pyenv 的是不成功的（repo 似乎还没更新）安装直接使用安装包，直接可以github 下载，包含了不同的版本，直接可以下载企业版使用参考代码 app 阅读全文

posted @ 2023-09-21 17:01 荣锋亮阅读(519) 评论(0) 推荐(0)

graalvm 23.1.0 关于python 集成的说明

摘要：从graalvm 23.1.0 开始，python 的集成与nodejs 类似也是独立了，使用上与nodejs 类似，可以简化不少集成参考资料 https://github.com/oracle/graalpython/releases/tag/graal-23.1.0https://www.gr 阅读全文

posted @ 2023-09-20 11:18 荣锋亮阅读(177) 评论(0) 推荐(0)

graalvm 23.1.0 独立nodejs docker 镜像&简单试用

摘要： graaljs docker 镜像很简单就是下载官方包，集成下，然后进行一些简单的配置 Dockerfile FROM debian:bullseye-backports LABEL author="rongfengliang" LABEL email="1141591465@qq.com" WO 阅读全文

posted @ 2023-09-20 11:09 荣锋亮阅读(246) 评论(0) 推荐(0)

graalvm 23.1.0 开始 js 引擎独立了

摘要：从graalvm 23.1.0 开始graaljs 可以独立使用了，这样就方便了不少，我们可以集成jvm 同时也可以集成nodejs 但是软件包会小不少有利用项目的使用，目前来说官方提供了不同版本的，包含了js 命令的nodejs 的同时包含jvm 的对于社区版包含了-community，jvm的包阅读全文

posted @ 2023-09-20 10:32 荣锋亮阅读(756) 评论(0) 推荐(0)

graalvm jdk 21 版本发布

摘要： graalvm 效率还是挺快的，java 21 版本虚拟线程以及ga可，graalvm 对于21 版本支持的发布，让我们也可以直接使用了从官方介绍以及解决来看，性能提升是很大的，在一些测试场景中 native image 比C2 jit 还快说明目前官方已经提供了21 的下载包可以体验使用参考阅读全文

posted @ 2023-09-20 09:46 荣锋亮阅读(557) 评论(0) 推荐(0)

一些不错的python 特征工程包

摘要：特征工程在机器学习中是比较重要的，而且也是比较花费时间的，而且对于不同场景的业务（序列，机器视觉，NLP）会有不同的处理方式，整理了一些日常使用比较多的工具，可以参考工具包 scikit-learn 比较老牌了，提供了不少特征工程的工具包，同时也提供了不少相关的算法实现 autofeat 实现上与阅读全文

posted @ 2023-09-20 09:15 荣锋亮阅读(214) 评论(0) 推荐(0)

导航

公告