lakefs 分支模型
摘要：
lakefs 尽管是支持了类似git 的分支模型，但是了解处理机制还是比较重要的，至少可以更好的利用lakefs进行系统的建设 repositories lakefs 的repository 是一个逻辑namespace，用来组合分支，对象，以及提交，和s3 的bucket 是相似的 branche 阅读全文
posted @ 2022-02-11 21:33 荣锋亮 阅读(147) 评论(0) 推荐(0)
lakefs 对象模型-对象存储
摘要：
了解lakefs 的对象模型对于我们更好的学习lakefs 是比较重要的 lakefs 对象存储 对象存储借鉴自s3，包含一些特性 包含一些内容，无限大小以及格式 一些元数据，大小，创建时间，时间戳，内容检查值， 一些用户自定义的元数据 和其他对象存储类似，lakfe 的对象是不可变的，不能重写，可 阅读全文
posted @ 2022-02-11 19:33 荣锋亮 阅读(295) 评论(0) 推荐(0)
几个不错的java otp 包
摘要：
个人比较推荐使用BastiaanJansen/otp-java，使用简单，而且包含了生成以及校验 参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0 阅读全文
posted @ 2022-02-11 19:29 荣锋亮 阅读(836) 评论(0) 推荐(0)
lakefs sdk 使用
摘要：
因为lakefs 是基于openapi 开发的后端，所以提供sdk 是很简单的，同时官方的sdk就是基于代码生成的 构建sdk 官方提供了中央仓库里的，也可以自己构建 java 版本自己构建 cd clients/java mvn clean package install -Dmaven.test 阅读全文
posted @ 2022-02-10 19:04 荣锋亮 阅读(198) 评论(0) 推荐(0)
lakefs 组件
摘要：
参考图 组件 s3 gateway api 提供了s3 兼容的api，目前包含了s3 子集，并不是完整实现， https://docs.lakefs.io/reference/s3.html 了解具体兼容 openapi server 基于openapi 规范，实现的crud 操作，同时包含了分支， 阅读全文
posted @ 2022-02-10 19:02 荣锋亮 阅读(113) 评论(0) 推荐(0)
dremio 20.1 官方release note 提供了
摘要：
问题 18.x以及19.x 升级到20.1 问题，造成iceberg metadta 问题，解决方法使用ALTER PDS，刷新以及遗忘数据集的元数据 增强 添加了authorizer.auth.cache.expiration_ms 进行认证有效期的配置 issue 修复 rdbms 多表join 阅读全文
posted @ 2022-02-10 12:11 荣锋亮 阅读(59) 评论(0) 推荐(0)
使用minio 做为lakefs 的数据存储
摘要：
lakefs 提供了专门的存储adapter，所以支持各类还是比较方便的，官方已经内置了不少存储适配 以下是简单的集成minio 环境准备 docker-compose文件 注意集成了dremio，dremio 添加了jprofiler扩展 version: '3' services: lakefs 阅读全文
posted @ 2022-02-10 11:59 荣锋亮 阅读(414) 评论(0) 推荐(0)
lakefs 源码构建
摘要：
lakefs的构建实际上是比较简单的，直接使用make build 就可以，但是lakefs 的构建模式是值得学习的 构建命令 本地 make build 容器镜像 make build-docker 简单说明 lakefs 使用了代码生成，静态资源嵌入，vite ，make 脚本写的并不是很难 代 阅读全文
posted @ 2022-02-10 00:34 荣锋亮 阅读(126) 评论(0) 推荐(0)
dremio 20.1 发布了
摘要：
就在2.8 号，官方发布了20.1 版本的，暂时还没看到relase note， 但是从代码大致看，主要是kernel 部分(ce 部分的插件代码官方没有开源)对于ce 部分（jdbc）暂时没看到其他的变动 说明 dremio 版本升级20.1 还是挺快，但是官方release note 有点太慢了 阅读全文
posted @ 2022-02-09 18:26 荣锋亮 阅读(60) 评论(0) 推荐(0)
posthog 开源产品分析工具
摘要：
posthog 是开源，可以自托管部署的产品分析平台 包含的特性 基于事件的分析 产品数据可视化 自托管系统 回话录制 自动捕捉 特性开关 datawarehouse 友好 灵活扩展 api 丰富 参考架构 参考资料 https://github.com/posthog/posthoghttps:/ 阅读全文
posted @ 2022-02-09 13:13 荣锋亮 阅读(1267) 评论(0) 推荐(0)
dremio 集成lakefs
摘要：
核心还是利用了lakefs 暴露s3 的特性，没多少技术难度，但是基于lakefs 支持git 的特性，我们可以更好的管理数据 环境准备 docker-compose version: '3' services: lakefs: image: "treeverse/lakefs:${VERSION: 阅读全文
posted @ 2022-02-09 13:01 荣锋亮 阅读(102) 评论(0) 推荐(0)
piral 参考架构说明
摘要：
昨天有介绍过一个siteless 的micro frontends 架构模式，实际上siteless来自与piral，以下简单介绍下piral的架构（内容来自官方文档） 几张图 来自官方，介绍下关于piral的集成模式 微服务时候的玩法 微前端之后 piral 的参考架构（核心基于react 开发） 阅读全文
posted @ 2022-02-08 10:41 荣锋亮 阅读(346) 评论(0) 推荐(0)
siteless ui 一种新的micro frontend 开发模式
摘要：
框架以及术语是来自piral，同时在框架作者的书 The Art of Micro Frontends 有比较完整的介绍，这本书是micro frontends in action 以及 building micro-frontends 之后一本不错的讲 micro frontend 的书 参考图 阅读全文
posted @ 2022-02-08 00:26 荣锋亮 阅读(73) 评论(0) 推荐(0)
使用parcel api 进行npm 项目
摘要：
parcel 提供了api 我们可以方便的集成到项目中，直接进行代码的构建 参考需要构建的项目 index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compa 阅读全文
posted @ 2022-02-07 22:29 荣锋亮 阅读(127) 评论(0) 推荐(0)
npm 8 的overrides 进行npm 依赖包的重写
摘要：
npm 8 的的overrides 是一个很方便的命令，比较适合我们特定的一个依赖npm有问题，但是因为依赖关系的问题造成很难处理 使用overrides我们就可以重写依赖的特定版本了 参考使用 package.json 我们限定@cubejs-backend/prestodb-driver 依赖的 阅读全文
posted @ 2022-02-07 13:29 荣锋亮 阅读(4943) 评论(0) 推荐(0)
maven 同一个模块加载多个版本的方法
摘要：
实际上属于一个小窍门，但是并不推荐使用，这种方法，比较适合，我们需要开发插件化应用 参考格式 以下格式就可以支持同一个模块的多版本加载打包了 <dependency> <groupId>com.dalongdemo</groupId> <artifactId>moduleapp</artifactI 阅读全文
posted @ 2022-02-07 13:06 荣锋亮 阅读(489) 评论(0) 推荐(0)
webjars 的优缺点
摘要：
webjars 已经出现很多年了，以下是整理一些优缺点 优点 便于java 体系web 资源的分发以及持续集成 天然支持多版本（格式约定） 直接基于classpath 的处理机制可以实现资源的路由寻址（天然支持+部分框架特性，比如servlet，spring 。。。） 缺点 maven 工具多版本支 阅读全文
posted @ 2022-02-07 12:58 荣锋亮 阅读(690) 评论(0) 推荐(0)
webjars 一般需要用到的几个插件
摘要：
webjars 是比较方便的一个web 资源集成到java 应用的方法，打包是比较重要的，但是很多时候我们是需要依赖其他一些maven plugin 的 unsnapshot-maven-plugin 主要解决版本的问题，去掉snaphot，会提供一个${version.unsnapshot} 的变 阅读全文
posted @ 2022-02-06 21:26 荣锋亮 阅读(62) 评论(0) 推荐(0)
frontend-maven-plugin webjars 模式构建web app
摘要：
webjars 没有太多高深的技术，我以前也写过相关介绍，webjars 的好处是灵活，而且利用了好多servelet 的特性，同时定义了比较好的 业界实现，是一个很值得参考的玩法 参考代码 pom.xml <?xml version="1.0" encoding="UTF-8"?> <projec 阅读全文
posted @ 2022-02-06 20:23 荣锋亮 阅读(100) 评论(0) 推荐(0)
reactive-interaction-gateway响应式交互网关
摘要：
reactive-interaction-gateway 的目的是让当前的微服务实时化，基于elixir 开发 来自官方的参考图 参考架构 参考玩法 说明 目前类似real time gateway 还是挺多的，基于reactive-interaction-gateway可以让我们的微服务应用变成事 阅读全文
posted @ 2022-02-06 11:03 荣锋亮 阅读(112) 评论(0) 推荐(0)
grouparoo 源码项目结构
摘要：
以前我也简单写了一些关于grouparoo处理的，后边计划顺着源码处理研究下 项目结构 grouparoo 包含了不少模块，属于一个monorepo，但是没有使用大家常用的yarn workspace 或者lerna 的workspace 而是使用了pnpm进行多workspace 的管理 使用le 阅读全文
posted @ 2022-02-06 10:32 荣锋亮 阅读(65) 评论(0) 推荐(0)
glob 方便的nodejs 文件查找包
摘要：
glob 包在nodejs 领域使用是很广的，是一个很强大文件查找工具包 简单使用 const glob = require("glob") glob("**/*.js", {}, function (er, files) { if(er){ console.log("some wrong",er) 阅读全文
posted @ 2022-02-05 22:21 荣锋亮 阅读(307) 评论(0) 推荐(0)
actionhero Initializer的优先级
摘要：
actionhero 的Initializer 是包含了优先级的，对于一些场景下我们是需要关注的 参考定义 src/classes/initializer.ts export abstract class Initializer { /**The name of the Initializer. * 阅读全文
posted @ 2022-02-05 21:44 荣锋亮 阅读(35) 评论(0) 推荐(0)
grouparoo 插件加载处理
摘要：
grouparoo 的插件处理与actionhero 是一致的，只是grouparoo增强扩展了下，支持了插件的自动加载以及reload 参考处理机制 core/src/initializers/plugins.ts 参考代码（主要是核心插件以及UI） async initialize() { ap 阅读全文
posted @ 2022-02-05 21:33 荣锋亮 阅读(43) 评论(0) 推荐(0)
actionherojs 插件restart 说明
摘要：
actionherojs 是提供了一种restart的机制，以下是简单说明下 服务restart api // 引入api import {Action, api} from "actionhero" module.exports = class MyDemoAction extends Actio 阅读全文
posted @ 2022-02-05 19:40 荣锋亮 阅读(27) 评论(0) 推荐(0)
浏览器指纹信息获取js 包的使用
摘要：
昨天简单介绍过几个浏览器指纹信息的包，以下简单使用下 browser_fingerprint browser_fingerprint 是actionhero 开发的，属于一个服务器端的处理，如果使用过里边actionhero会发现响应li bian直接包含了一个fingerprint 参考代码 co 阅读全文
posted @ 2022-02-05 14:13 荣锋亮 阅读(1311) 评论(0) 推荐(0)
primus 通用实时框架包装
摘要：
primus 主要是一个包装，解决了实时通信框架的问题 优点 可以实现灵活的实时框架替换,而不需要修改太多的代码 内置重连机制 离线捕捉重连 自动消息的编解码处理 说明 actionherojs 内部对于websocket 的处理就包装了primus，对于进行实时框架的处理，还是值得选择的，而且pr 阅读全文
posted @ 2022-02-04 23:24 荣锋亮 阅读(135) 评论(0) 推荐(0)
actionherojs 的插件机制
摘要：
actionherojs 的插件机制是比较强大的，基于插件我们可以直接实现npm包的安装与卸载，同时利用提供的reload api 实现 模块功能的生效（grouparoo 就利用了这些特性） 创建一个插件 代码结构 可以使用actionherojs 的cli 创建 ├── README.md ├─ 阅读全文
posted @ 2022-02-04 21:16 荣锋亮 阅读(102) 评论(0) 推荐(0)
actionherojs 中间件参考流程
摘要：
actionherojs 做为一个插件化的框架，还是很强大的，支持中间件模式以下是一些参考流程 action 处理流程图 Task 处理流程 目前官方支持的中间件类型 Action Connection Chat Task 说明 actionherojs 的设计还是比较简介的，但是很强大,基于它搞一 阅读全文
posted @ 2022-02-04 11:56 荣锋亮 阅读(51) 评论(0) 推荐(0)
让自己的npm包支持npm WARN deprecated
摘要：
npm WARN deprecated 的目的是让使用npm的人知道，使用的某些版本因为安全漏洞，或者维护问题，不在支持了 需要使用者使用其他版本的，让自己开发的npm 支持 npm WARN deprecated 主要核心还是使用了npm 自带的命令 npm deprecate 命令参考格式 np 阅读全文
posted @ 2022-02-03 22:36 荣锋亮 阅读(5794) 评论(0) 推荐(0)
grapesjs 强大的web builder 框架
摘要：
grapesjs 是一个开源免费的web builder 框架，可以用来实现基于模版不需要代码的工具（cms，表单设计器。。。） 说明 现在好多的无代码以及低代码都会选择表单设计器进行开发，参考下grapesjs 是一个很不错的选择 参考资料 https://github.com/artf/grap 阅读全文
posted @ 2022-02-03 12:44 荣锋亮 阅读(706) 评论(0) 推荐(0)
浏览器指纹信息获取npm 包
摘要：
浏览器指纹信息在数据分析领域是比较重要的，目前开源的工具也不少，以下整理一些 说明 一些是server端的，一些是基于浏览器的，很多时候需要多种模式一起才能唯一确定，比如我们结合browser_fingerprint以及clientjs就可以相对稳定的确定浏览器标示了 参考资料 https://gi 阅读全文
posted @ 2022-02-03 11:41 荣锋亮 阅读(160) 评论(0) 推荐(0)
grouparoo 数据流
摘要：
内容来自官方文档，基于此我们可以了解grouparoo 各组件的工作流程可以方便源码的学习阅读（目前官方关于架构介绍的比较少） 参考介绍 参考图 简单说明 图中的不少都是以插件模式开发的，core，以及cli 是比较核心的，以上组件大部分是利用了actionherojs的特性 说明 grouparo 阅读全文
posted @ 2022-02-03 00:14 荣锋亮 阅读(53) 评论(0) 推荐(0)
actionherojs 生产部署说明
摘要：
actionherojs 支持集群以及ha 模式，同时支持web 与worker分离 参考图 woker&web分离配置 / Assume we use the flag \`process.env.ACTIONHERO_ROLE\` to denote the type of server // 阅读全文
posted @ 2022-02-02 22:57 荣锋亮 阅读(46) 评论(0) 推荐(0)
actionherojs 强大的nodejs api 框架
摘要：
actionherojs 明显是被低估的nodejs 框架，支持的特性不少，而且是groupraoo 的核心依赖 一般的业务场景 后台任务开发 实时以及基于http的链接服务 自动reload以及开发环境热加载 集群部署（单机以及多机）支持集群共享cache，广播消息 数据库应用，插件化集成mong 阅读全文
posted @ 2022-02-02 19:52 荣锋亮 阅读(201) 评论(0) 推荐(0)
基于juicefs +s3 开发简单的多租户git 服务
摘要：
参考图 简单说明 利用了git 的http 协议，基于juicefs 进行不同租户git 代码的隔离，元数据使用不用的，同时git server 可以直接基于golang，nodejs 开发，也可以使用容器或者虚拟机运行git server，因为基于http 协议，我们可以扩展一层auth 认证，同 阅读全文
posted @ 2022-02-02 14:25 荣锋亮 阅读(128) 评论(0) 推荐(0)
使用juicefs 解决基于s3做为git 存储的问题
摘要：
开发一个自定义的git server 实际上是比较有意思的，而且很多时候也能解决我们好多问题 一些场景 基于git 的配置管理 基于git 的数据同步 基于git 的数据备份 存储的问题 对于git的数据存储，我们有几种方法，本地，共享存储（nas,nfs） 本地的问题很明显，不能共享，使用有点费事 阅读全文
posted @ 2022-02-02 13:53 荣锋亮 阅读(283) 评论(0) 推荐(0)
Building a Sync Engin
摘要：
内容来自：https://www.grouparoo.com/blog/building-a-sync-engine 内容主要介绍了如何开发一个同步引擎，没有太多高深的，主要是基于了变动的时间戳以及水印算法 简单说明 预备 添加水印列，当然对于不同的数据库处理方式会不一样的，有些可能需要通过触发器 阅读全文
posted @ 2022-02-01 21:07 荣锋亮 阅读(42) 评论(0) 推荐(0)
grouparoo 基于nodejs 的开源反向ETL 工具
摘要：
grouparoo 是一个基于nodejs 开发的反向ETL 工具，通过此我们可以学习内部机制 参考使用 安装 npm install -g grouparoo grouparoo init . grouparoo config 效果 启动之后需要通过注册以及添加app 包含ui 管理，支持的app 阅读全文
posted @ 2022-02-01 19:59 荣锋亮 阅读(271) 评论(0) 推荐(0)
Castled 源码解析 - container 模块说明
摘要：
container 属于Castled api 后端服务，后端包含了任务调度，db 迁移，有几个服务是比较重要的 主要是pipelineservice，ExternalAppService，WarehouseService，而且官方还提供了一套基于events 的处理 主要包含PipelineEve 阅读全文
posted @ 2022-02-01 13:22 荣锋亮 阅读(77) 评论(0) 推荐(0)
浙公网安备 33010602011771号