随笔分类 -  持续集成

上一页 1 2 3 4 5 6 7 8 9 ··· 38 下一页

feast 开源feature store
摘要:对于机器学习特征处理是一个比较重要,特征的质量会严重影响模型的质量,而且很多时候我们都是希望实时的特征数据feast 是一个开源的特征存储实现,包含了离线以及实时特征的存储以及获取(包含了sdk,可以进行特征的获取) 参考架构 包含的组件:registry: 对象存储,持久化特征,我们可以通过sdk 阅读全文

posted @ 2023-09-19 14:11 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

embeddedkafka 方便测试的基于内存的kafka 实现
摘要:embeddedkafka 方便测试的基于内存的kafka 实现,可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream,core,conenct 以及schema-registry,对于测试场景是一个不错的选择 参考资料 https://github.com/ 阅读全文

posted @ 2023-09-19 13:42 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

spark on k8s 开发部署简单实践
摘要:实际上就是一个简单的实践,方便参考,对于开发以及运行,集成ci/cd 以及dophinscheduler 任务调度为了方便开发的spark 应用共享以及使用基于s3 进行文件存储(当然dophinscheduler 也是支持自己的资源库的) 参考图 玩法说明 基于gitlab 进行代码管理,通过ci 阅读全文

posted @ 2023-08-21 22:39 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

python 新的包构建模式
摘要:实际上是PEP 517 的定义,主要是对于基于distutils以及setuptools 已经存在太久的时间了,需要一些调整了目前已经有了不少相关的实现了,同时也有不少python 包的开发就是基于了新的规范了,hatch 以及poetry 是一个不错的选择 说明 关于python包开发的,有一本很 阅读全文

posted @ 2023-08-12 12:36 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

cookiecutter python 项目模版工具
摘要:cookiecutter python 项目模版工具,可以帮助我们快速基于模版生成python 项目(当然也支持c 项目)有不少python 项目都是基于此工具的比如dbt adapter 开发就基于此提供了方便的adapter 生成 dbt adapter 参考模版 cookiecutter 创建 阅读全文

posted @ 2023-08-06 21:10 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

sqlfluff sql linter 以及自动格式化工具
摘要:sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言,以及模版代码,比较适合ELT 类型的数据分析应用,同时对于dbt 也是比较友好的 特性 多种数据库方言支持 支持模版(jinja,dbt) 可以很好的集成ci/cd dbt 参考效果 因为dbt 使用了jinja 模版引 阅读全文

posted @ 2023-08-04 22:57 荣锋亮 阅读(194) 评论(0) 推荐(0) 编辑

OpenFeature 特性flag 标准协议
摘要:OpenFeature 属于cncf 一个沙箱项目 OpenFeature 特性 社区驱动的标准协议 一个sdk 可以支持各种后端 目前包含了不少支持工具(包含了开源的以及商业工具) 支持不少客户端(目前支持了js,java,golang,c#,php) 核心概念 OpenFeature 提供了一些 阅读全文

posted @ 2023-07-10 10:15 荣锋亮 阅读(178) 评论(0) 推荐(0) 编辑

mutagen 快速文件同步&网络转发工具
摘要:mutagen 快速文件同步&网络转发工具,可以快速实现基于云的本地开发环境构建,提供了灵活的 传输协议,支持本地,server 以及容器基础设施(实际上就是本地,ssh,以及dokcer 容器) 参考使用(同步模式) mutagen 会有一个daemon 进程,这个是自动启动的,当然也有控制命令, 阅读全文

posted @ 2023-07-02 18:47 荣锋亮 阅读(89) 评论(0) 推荐(0) 编辑

kubeskoop 阿里开源的k8s 网络分析工具
摘要:kubeskoop 是阿里开源的k8s 网络分析工具,提供了一个完整的k8s 网络分析工具集,可以快速帮助我们分析容器网络问题,支持不少cni 插件 参考图 说明 kubeskoop 技术上利用了ebpf,功能还是很强大的,同时提供了可视化ui 工具,是一个很不错的k8s网络分析工具,很值得使用下 阅读全文

posted @ 2023-07-01 08:52 荣锋亮 阅读(157) 评论(0) 推荐(0) 编辑

squawk pg linter 工具
摘要:squawk 是一个pg linter 工具,主要作用是对于数据迁移的处理,基于rust 开发 说明 同时官方还提供了一个方便安全迁移的指南,很值得学习 参考资料 https://github.com/sbdchd/squawkhttps://squawkhq.com/https://benchli 阅读全文

posted @ 2023-06-25 14:37 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

graalvm 新的免费许可协议
摘要:就在最近oracle 发布了一个新的graalvm 发行版(oracle graalvm),同时也调整了许可模型,大致上是除非你收费基于graalvm 开发的应用,基本上oraclegraalvm 分发版本的可以免费使用,包含了不少新特性 当前版本的特性 profile 指南优化,提供了更多的编译优 阅读全文

posted @ 2023-06-23 10:29 荣锋亮 阅读(189) 评论(0) 推荐(0) 编辑

gosec 基于ast 的golang 安全检查工具
摘要:gosec 基于ast 的golang 安全检查工具,核心是基于了一些rule 进行安全的处理 参考使用 安装 官方提供了对应操作系统的包,安装就可以了,也可以使用go install 命令安装 使用 当然gosec 还有其他命令可以选择,具体可以通过gosec 查看 gosec . 参考资料 ht 阅读全文

posted @ 2023-06-06 08:24 荣锋亮 阅读(122) 评论(0) 推荐(0) 编辑

adr 方便的架构决策记录方法
摘要:adr 是编译中方便的架构决策记录方法,同时也纳入了技术雷达中,是一个很值得使用的模式 包含的内容 一般会包含标题,状态,上下文,决策,以及影响,aws 官方包含了很不错的例子,值得学习下 格式 对于存储格式没明确要求,实际上github 有一个adr 的组织,包含了不少实现工具,很值得参考学习对于 阅读全文

posted @ 2023-05-31 21:11 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

jdepend java 包依赖分析库
摘要:jdepend 是一个java 库,可以通过便利源码以及java class 生成每个java 包的质量metrics 说明 对于比较关心代码质量,或者需要在持续交付中关注质量metrics的jdepend 是一个值得使用的工具 参考资料 https://github.com/clarkware/j 阅读全文

posted @ 2023-05-27 13:33 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

ArchUnit 架构测试框架
摘要:很多时候我们觉得架构比较复杂,或者架构比较玄幻,同时对于自己设计的架构方案心里总是没有底ArchUnit 是一个不错的选择可以像单元测试一样,测试我们的架构是否合理(包含了包以及类的依赖,分层,循环依赖。。。。) 说明 对于希望检查自己方案架构问题的,可以尝试下ArchUnit 工具 参考资料 ht 阅读全文

posted @ 2023-05-27 13:29 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

containerlab 简单试用
摘要:以下是containerlab 简单试用的测试 预备 需要docker 环境 安装 基于vm 运行 yum-config-manager --add-repo=https://yum.fury.io/netdevops/ && \ echo "gpgcheck=0" | sudo tee -a /e 阅读全文

posted @ 2023-05-16 09:01 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

containerlab 基于容器的网络实验室工具
摘要:containerlab 基于容器的网络实验室工具,我们可以直接基于配置就可以快速创建任意网络拓普环境 支持的特性 iaac 多厂商支持以及开放 方便的实验调度管理(开素创建,销毁,保存,查看信息) 简单方便 网络操作系统为中心 基于vm 节点友好 快速 自动tls 文档优先 lab 目录 使用场景 阅读全文

posted @ 2023-05-16 07:36 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

juicefs 方便mac 进行utm 虚拟机的文件共享
摘要:以前写过基于sshfs 实现共享的,以下是一个基于juicefs的,可以参考 参考玩法 简单说明: 每个系统都挂载juicefs 参考使用 创建juicefs 依赖资源 version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ 阅读全文

posted @ 2023-05-01 17:41 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

使用fpm 构建一个kernel module rpm包
摘要:昨天参考社区的示例,开发了一个简单的kernel 模块,尽管我们可以通过insmod 进行模块安装,但是对于实际的分发是很不方便的 比较推荐的做法是制作一个rpm包,方便模块的分发以及共享 一些问题 模块的安装位置 一般我们外部开发的模块都在/lib/modules/${uname}\extra 目 阅读全文

posted @ 2023-04-29 08:40 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

utm 试用
摘要:前边简单说明过utm 是一个很不错的mac 虚拟化管理工具,以下是一个简单的试用 安装 直接下载mac 的安装程序就行了 使用 下载镜像 可以下载自己想运行的系统,比如我使用清华的镜像加速下载centos 的 创建虚拟机 网络说明 目前似乎有一个问题就是网卡没有绑定ip,需要手工重启下网卡,参考if 阅读全文

posted @ 2023-04-28 15:27 荣锋亮 阅读(69) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 9 ··· 38 下一页

导航