随笔分类 -  持续集成

1 2 3 4 5 ··· 37 下一页

soda-data dremio 集成使用
摘要:以前简单介绍过soda 数据质量工具,以下是关于dremio 集成的一个说明 环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包 阅读全文

posted @ 2024-03-22 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

soda 数据质量测试工具
摘要:soda 数据质量测试工具,可以方便的集成到ci/cd 中,同时支持的数据库也不少,soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测(也支持输出数据格式为json,方便分析) 说明 soda 同时也提供了data contract 的支持,对 阅读全文

posted @ 2024-03-21 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

maven plugin debug 简单说明
摘要:有些时候我们希望对于maven plugin 进行调试(可能有bug),以下是一些简单说明 玩法 使用mvnDebug 直接替换mvn clone 或者将maven plugin 的jar 放到项目的classpath 中 添加remote jvm debug 并配置地址为mvnDebug提供的地址 阅读全文

posted @ 2024-03-19 08:01 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

Open Data Contract Standard(ODCS) data contracts 标准
摘要:ODCS 属于一个linux 基金会项目,目前处于沙箱阶段 包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

posted @ 2024-03-02 08:50 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

data contracts 参考资料
摘要:基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式,机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定,确保数据的质量,提高数据团队的协作,同时还有不少工具可以参考 说明 open-data-contract-s 阅读全文

posted @ 2024-03-01 08:01 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

pkl apple 开源的配置即代码语言
摘要:pkl apple 开源的配置即代码语言 应用场景 生成静态配置 可以方便的生成json,yaml,xml 格式配置 应用运行时配置 官方提供了swift,go,java,kotlin 语言的支持,可以方便使用 说明 github 上的start 不少,值得看看,同时也直接可以集成到spring b 阅读全文

posted @ 2024-02-24 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dremio cloner 简单试用
摘要:以前简单介绍过dremio cloner 工具,以下是一个简单试用 dremio 环境准备 基于docker-compose,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose 完成配置 安装dremio clon 阅读全文

posted @ 2024-02-23 08:01 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

unpkg 淘宝registry 不能使用的问题
摘要:以前修改过一个unpkg,可以支持本地私服部署,今天有一位网友在使用淘宝registry 的时候发现有问题,会有重定向的问题 造成不能使用 原因分析 尽管我们配置的是 registry.npmmirror.com 但是对于内容的下载npmmirror 会使用另外一个域名cdn.npmmirror.c 阅读全文

posted @ 2024-02-22 14:51 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

pkl cli 简单试用
摘要:以前简单介绍过apple 开源的pkl 配置即代码工具(当然也提供了语言上的支持),以下是一个简单试用 安装 mac 系统 cli 命令 curl -L -o pkl https://github.com/apple/pkl/releases/download/0.25.2/pkl-macos-am 阅读全文

posted @ 2024-02-21 08:00 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

git RPC failed; curl 92 HTTP/2 stream 5 was not closed cleanly 类似问题解决
摘要:今天在使用git 通过http 协议进行git repo clone 的时候发现的问题,记录下 参考解决方法 使用http1.1 协议 git config --global http.version HTTP/1.1 增加buffer git config --global http.postBu 阅读全文

posted @ 2024-02-15 08:00 荣锋亮 阅读(266) 评论(0) 推荐(0) 编辑

jvm shutdownHook + spring 自定义事件实现业务处理
摘要:jvm 的shutdownHook 可以实现对于jvm 退出的一些处理,比如资源清理,异常事件通知,spring 自定义事件(或者使用内部的)可以实现 bean 的一些事件驱动处理,两个结合起来可以方便我们进行一些业务处理 一些业务场景 资源清理 服务停止业务状态一致性补偿 服务注册场景中的取消注册 阅读全文

posted @ 2024-02-14 08:00 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

docker init 简单使用
摘要:这次说的docker init 并不是init 进程,而是docker 提供了cli init 命令,与npm init 等类似的方便创建docker 项目的命令 参考使用 提供的能力 docker help init Usage: docker init [OPTIONS] Creates Doc 阅读全文

posted @ 2024-02-02 08:01 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

typespec 简单试用
摘要:typespec 是一个强大的api 描述框架,以下是一个简单的试用 安装typespec 可以安装为全局cli 命令 npm install -g @typespec/compiler 使用 创建项目 tsp init // 后续按照提示操作,可以选择http 安装依赖 tsp install 项 阅读全文

posted @ 2024-01-28 08:09 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

typespec 描述api 的框架工具
摘要:typespec 是微软开源的api 描述工具,我们可以直接使用与typescript 类似的语言就能描述api,可以方便的生成rest,graphql,openapi,grpc 一些其他协议代码 包含的特性 api 优先 轻量级api 定义语言(基于typescript) 与现有工具链可以方便的集 阅读全文

posted @ 2024-01-27 08:01 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具
摘要:postgres-wasm Supabase & Snaplet 开发的可以在浏览器中运行pg的工具,比较有意思 使用到的一些包 runtime v86的一个模拟器 buildroot 脚本,方便构建一个在v86 中运行的cpu 以及内存快照 websockproxy 网络工具 说明 官方也提供了一 阅读全文

posted @ 2024-01-19 14:42 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

snaplet 一个强大的类似产品数据的生成工具
摘要:以前简单介绍过一个数据生成工具synth,snaplet 是一个类似的工具,但是设计上比较有意思,synth 是基于了schemasnaplet 使用了快照,以及基于ai 的数据生成模式,当然还包含了一种种子数据生成的模式 包含的特性 种子数据 对于现有的数据库使用快照模式生成 数据恢复 对于clo 阅读全文

posted @ 2024-01-18 11:20 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

synth 简单试用
摘要:以下是一个简单的试用,主要是体验下synth 的功能 安装 我使用的mac 系统,其他系统按照官方文档操作 curl --proto '=https' --tlsv1.2 -sSL https://getsynth.com/install | sh 项目创建 创建文件夹 mkdir first 创建 阅读全文

posted @ 2024-01-16 11:53 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

synth 声明式数据生成工具
摘要:synth 是由shuttle 团队开发的一个基于rust 编写的声明式数据生成工具 应用场景 数据隐藏 隐藏敏感的产品数据,帮助我们生成比较符合生成场景的数据 种子数据初始化 基于ci 的测试,开发环境数据生成,方便持续集成 基于自定义的规范,生成逼真的数据 可以基于约束,关系,生成逼真的数据 说 阅读全文

posted @ 2024-01-16 11:08 荣锋亮 阅读(2) 评论(0) 推荐(0) 编辑

maven extension 简单说明
摘要:按照说明maven 是3.3.1 发布了maven extension,功能很强大,以前没太注意,在看dremio 关于telemetry 集成的时候发现是一个很强大的 功能,尤其在我们需要提高maven 构建性能的时候,以下是一个简单的说明 配置说明 一般包含了核心扩展以及构建扩展 核心扩展 ja 阅读全文

posted @ 2024-01-10 17:18 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

erlang 多版本管理工具
摘要:对于日常开发中,多版本还是比较重要的,erlang 多版本管理工具也包含不少 包含的工具 asdf 多用途的软件多版本管理工具 kerl 核心是处理erlang 多版本的 kiex 基于了kerl 以及ruby 的一些工具,目前似乎缺少维护了 说明 目前比较推荐的是kerl 以及asdf,当然还得看 阅读全文

posted @ 2024-01-04 18:04 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

1 2 3 4 5 ··· 37 下一页

导航