荣锋亮 - 博客园

几个不错的json schema 校验

摘要：日常开发中数据校验是很重要的，因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具，可以方便使用参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

posted @ 2021-06-20 12:31 荣锋亮阅读(498) 评论(0) 推荐(0)

spring boot cors 动态添加以及cookie 处理

摘要： spring boot 4.2 之后直接支持基于注解解决了，使用很简单，但是需要严格控制跨域请求的就需要一些调整了解决方法自定义CorsFilter,自己创建一个bean，传入自定义的CorsConfigurationSource，CorsConfigurationSource 需要配置一个匹阅读全文

posted @ 2021-06-19 11:15 荣锋亮阅读(818) 评论(0) 推荐(0)

jcasbin RoleManager问题

摘要： jcasbin的好多设计与golang的还是有些差异的，造成的问题就很明显了与golang 使用方法有差异部分golang 的业务处理模式不能无缝的移植到java版本，RoleManager 就存在类似的问题 golang 实现官方golang 的实现提供了一个默认RoleManager，类似其阅读全文

posted @ 2021-06-17 12:40 荣锋亮阅读(291) 评论(0) 推荐(0)

jcasbin 自定义函数

摘要：以下主要说明自定义函数的使用参考代码自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

posted @ 2021-06-15 21:53 荣锋亮阅读(536) 评论(2) 推荐(1)

dremio 16 回退15.7 版本问题

摘要： dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的）解决方法还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮阅读(187) 评论(0) 推荐(0)

armeria 构建响应式rpc 优先的微服务框架

摘要： armeria 是一个rpc优先的微服务狂简（netty作者开发的，line 公司开源）armeria 的优点很多，而且可以方便的与其他框架集成（spring boot，很多）包含的特性 http2 优先，完备的支持http2，支持proxy 协议集成grpc，thrift 支持grpc-ove 阅读全文

posted @ 2021-06-14 22:23 荣锋亮阅读(1252) 评论(0) 推荐(1)

datafuse基于rust 开发的实时数据处理&&dbms分析系统

摘要： datafuse基于rust开发的实时数据处理&&分析框架参考架构组件说明 fusequery 分布式查询引擎（借鉴了clickhouse） fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎说明因为兼容mysql 协议所以使用上还是比较方便的（但是兼容协阅读全文

posted @ 2021-06-14 18:01 荣锋亮阅读(1656) 评论(0) 推荐(0)

gotrue netlify 开源的通用用户管理&&jwt token 工具

摘要： gotrue 是基于golang 开发的，通用用户管理工具，使用简单，包含的功能比较完善，同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理（但是是fork了一个分支自己维护了），具体使用后边会介绍参考资料 https://github.com/supabase/go 阅读全文

posted @ 2021-06-14 11:26 荣锋亮阅读(569) 评论(0) 推荐(0)

centraldogma ha 配置

摘要： centraldogma 支持ha模式的运行（依赖zk），以下是参考配置环境准备 docker-compose version: "3" services: app: image: line/centraldogma volumes: - "./shiro.ini:/opt/centraldogm 阅读全文

posted @ 2021-06-14 10:13 荣锋亮阅读(127) 评论(0) 推荐(0)

centraldogma 安全配置

摘要： centraldogma 支持多种安全配置，而且安全在实际业务使用中是比较重要的，以下是集成shiro 的一个简单配置环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma volumes: - "./ 阅读全文

posted @ 2021-06-14 09:51 荣锋亮阅读(107) 评论(0) 推荐(0)

试用centraldogma

摘要：因为官方提供了docker 镜像，我们可以直接运行测试centraldogma 环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma ports: - "36462:36462" 运行效果 http:/ 阅读全文

posted @ 2021-06-13 21:58 荣锋亮阅读(183) 评论(0) 推荐(0)

centraldogma基于git&zk&http2的高可用支持版本管理的配置服务工具

摘要： centraldogma是line开源的基于git&zk&http2的服务配置管理工具，支持版本管理（基于git特性）参考架构图说明使用centraldogma做为一个配置管理工具是很不错的，完善的版本管理，watch支持，同时支持ha，支持git repo 的镜像，方便的数据格式处理（jso 阅读全文

posted @ 2021-06-13 21:23 荣锋亮阅读(171) 评论(0) 推荐(0)

paseto token 访问模式

摘要： paseto 是类似jwt 的 token机制，但是相对jwt来说进行了一些扩展格式协议版本.目标用途.有效负载.页脚（可选）参考格式 v2.local.QAxIpVe-ECVNI1z4xQbm_qQYomyT3h8FtV8bxkz8pBJWkT8f7HtlOpbroPDEZUKop_vagl 阅读全文

posted @ 2021-06-13 18:13 荣锋亮阅读(652) 评论(0) 推荐(0)

大规模扩展casbin的一种方案

摘要：参考图说明机制上使用了官方的casbin-server，同时结合了grpc 协议，添加了注册中心模式，认证处理按照不同的数据进行了shared，同时为了提升节点的负载可以基于注册中心能力以及watcher 机制保证数据的一致性，对于统一的处理基于注册中心以及auth-proxy 模式简化客户端的阅读全文

posted @ 2021-06-13 12:04 荣锋亮阅读(554) 评论(0) 推荐(0)

casbin 性能优化的几点建议

摘要：内容主要来自官方文档高速访问场景 casbin 单实例可以支持10000 r/s 的处理，对于请求比较频繁的可以参考如下处理多线程多实例 policy rule 过多的场景可能是模型设计问题，需要重新调整下基于分片机制解决，不同租户使用不同的casbin 实例，同时基于filter处理（阅读全文

posted @ 2021-06-13 11:58 荣锋亮阅读(1732) 评论(0) 推荐(0)

使用casbin进行应用访问控制

摘要： casbin 支持比较完备的访问控制模型（acl,rbac,abac...）同时casbin也提供了一个acaas 的服务模型（casbin server）特性支持比较完备的访问控制模式支持不同数据库的adapter 多语言支持（包含了基本上大家常用的开发语言，而且使用上是一致的）支持大规模阅读全文

posted @ 2021-06-13 11:11 荣锋亮阅读(794) 评论(0) 推荐(0)

使用xid 生成唯一id

摘要： xid 使用了类似mongo objectid 的算法模型包含的特性 12 字节，类似uuid 以及snowflask base32 编码，同时支持排序可反解码参考使用 package main import ( "log" "github.com/rs/xid" ) func main() 阅读全文

posted @ 2021-06-13 10:31 荣锋亮阅读(654) 评论(0) 推荐(0)

jcsabin FilteredAdapter 逻辑处理问题

摘要： jcasbin 默认的Enforcer 构造函数在处理FilteredAdapter的时候有些问题（造成的问题是运行正常，但是过程有问题）原有参考代码 public Enforcer(Model m, Adapter adapter) { this.adapter = adapter; this. 阅读全文

posted @ 2021-06-13 09:26 荣锋亮阅读(201) 评论(0) 推荐(0)

jcasbin redis watcher 一些修改

摘要：具体变动可以参考源码，也是基于官方的redis watcher 进行的修改具体变动支持redis 包含密码的链接（很简单暴露jedispool就可以了）支持redis channel 回调channel 名称暴露（方便控制不同租户以及多实例的处理，但是还是有写缺陷的，应该提供一个独立通知暴露点阅读全文

posted @ 2021-06-11 22:54 荣锋亮阅读(346) 评论(0) 推荐(0)

cube.js 0.27.31 一些新特性

摘要：今天cube.js 发布了0.27.31 版本，提供了以下特性变动 playground 支持query tab，方便使用queryTransformer 变动为了 queryRewrite（目前兼容）这个名称看着更加合理了预聚合推荐处理（尤其是大量数据加载的时候）这个目前cubestore 还是阅读全文

posted @ 2021-06-11 22:34 荣锋亮阅读(97) 评论(0) 推荐(0)

sdkman Stop! maven is not a valid candidate 类似问题解决

摘要：为了方便jdk 以及相关依赖的管理，我都是使用sdkman 管理的，但是大家可能会碰到 Stop! maven is not a valid candidate 类似的问题解决方法注意执行之后还需要开启新的终端，不然会不生效的 sdk flush candidates 参考资料 https:// 阅读全文

posted @ 2021-06-06 22:31 荣锋亮阅读(603) 评论(0) 推荐(0)

lakefs 类似git 的文件对象存储

摘要： lakefs 是基于golang编写的兼容git 的对象存储特性包含了git 的能力，同时方便集成数据ci/cd，同时可以方便的和现有的数据技术栈集成使用基于docker-compose运行 docker-compose 文件 version: '3' services: lakefs: i 阅读全文

posted @ 2021-06-06 09:42 荣锋亮阅读(1461) 评论(0) 推荐(0)

readme.so docker 镜像

摘要： readme.so 官方是提供了docker 构建的，搜索了下发现暂时还没有docker镜像就自己搞了一个参考使用 docker run -d -p 3000:3000 dalongrong/readme.so 效果说明已经推送docker官方了，可以直接使用参考资料 https://git 阅读全文

posted @ 2021-06-06 00:13 荣锋亮阅读(214) 评论(0) 推荐(0)

使用 readme.so创建 readme文件

摘要： readme.so 是一个web网站，可以用来方便的生成标准的readme 文件是一个很值得使用的工具（而且开源）参考效果参考资料 https://readme.so/https://github.com/octokatherine/readme.so 阅读全文

posted @ 2021-06-06 00:00 荣锋亮阅读(354) 评论(0) 推荐(0)

使用 Delta Sharing 协议进行数据共享

摘要： Delta Sharing 是delta 团队提出的数据共享方案，发布时间不是很长(看github 的信息不到一个月)，但是理念是很不错的提供了一个开放安全的进行数据共享的协议，同时官方也提供了一个server的实现参考玩法说明 Delta Sharing 是基于rest api 提供服务的，目阅读全文

posted @ 2021-06-04 00:37 荣锋亮阅读(410) 评论(0) 推荐(0)

dremio 16 升级问题

摘要： dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题问题描述因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver）问阅读全文

posted @ 2021-06-04 00:12 荣锋亮阅读(148) 评论(0) 推荐(0)

graylog 4.0 运行

摘要： graylog 4.0 的新特性还是比较多的，比较事件通知的处理上更明确了，新的界面，同时支持es 7 以下是一个简单的docker-compose 运行环境说明,可以体验新版本的特性 docker-compose 文件 version: '2' services: mongodb: image: 阅读全文

posted @ 2021-05-30 18:35 荣锋亮阅读(837) 评论(0) 推荐(0)

supabase 开源firebase 可选工具

摘要：参考架构使用场景实时api，自动api 生成，集成用户登陆，注册服务说明 supabase 是一个很不错的平台，集成了好多开源的产品，当然supabase也开源可好多开源工具，都是很不错的，当然当前还没有ga 参考资料 https://github.com/supabase/supabaseh 阅读全文

posted @ 2021-05-29 11:47 荣锋亮阅读(1728) 评论(1) 推荐(0)

cube.js 最新playground 说明

摘要：最新版本的playground 添加了支持having 分组处理,实际上以前也是支持的，只是界面没有，先版本的直接包含了，我们可以直接使用说明官方目前也在进行一个新版本playground 的开发（内部调研）估计很快也会发布了，新版本的界面以及效果很完善了参考资料 https://github 阅读全文

posted @ 2021-05-29 11:04 荣锋亮阅读(81) 评论(0) 推荐(0)

cube.js + dorisdb进行数据服务开发

摘要：以下是关于cube.js 与dorisdb 集成的一些参考玩法，通过测试还是很不错的 dorisdb 参考图数据集成模式参考集成参考使用图 cube.js 配置 # Cube.js environment variables: https://cube.dev/docs/reference/e 阅读全文

posted @ 2021-05-25 19:47 荣锋亮阅读(402) 评论(0) 推荐(0)

unionfs 组合文件npm包参考使用

摘要： unionfs 是一个灵活强大的组合fs npm 包，可以方便的进行多fs 实现的组合，比如基于内存的fs 与本地fs 组合实现强大的 npm 扩展以及配置管理。。。参考代码 package.json { "name": "mem-fs-app", "version": "1.0.0", "mai 阅读全文

posted @ 2021-05-24 23:01 荣锋亮阅读(169) 评论(0) 推荐(0)

cube.js api header 参数传递

摘要：日常基于自定义header 进行一些控制是一个比较常见的需求，cube.js 的playground 可能没有此功能，但是cube.js client sdk 支持实际上自己进行api 请求，包含header 也是可以的，就是普通的header处理使用方法 header 处理可以在cube.j 阅读全文

posted @ 2021-05-24 22:57 荣锋亮阅读(147) 评论(0) 推荐(0)

nodejs 几个不错的fs 实现

摘要：使用通用模拟文件系统，我们可以规避不同存储模型，可以提供系统的灵活性，以下是几个不错的参考，使用中可以参考说明类似的实现是比较多的，这里主要说明关于node的，实际上java 以及golang 都有好多类似的实现，也可以参考我以下写过关于golang 的参考资料 https://github. 阅读全文

posted @ 2021-05-23 17:29 荣锋亮阅读(110) 评论(0) 推荐(0)

cube.js s3 filerepository 支持特定租户npm schema 加载

摘要：场景很简单，实际我们多租户的场景，数据是需要拆分开的，如果就有npm进行schema 的发布管理会存在不同项目，或者不同租户级别的 schema是不同的使用参考图简单原理因为s3 filerepository 是基于s3 的bucket 以及prefix 区分的，我们可以基于参考的配置参数解决阅读全文

posted @ 2021-05-23 17:15 荣锋亮阅读(117) 评论(0) 推荐(0)

cube.js 最新版本一些变动

摘要：最近几次cube.js 的变动还是提供了比较多的特性的，一些是一个简单的整理特性 playground 支持分组操作 cubestore 更新依赖的datafusion（支持更多的特性）以及处理了import 完成之后才能执行查询添加配置检查（严模式） bug 修复外部预聚合的时候优化了数据阅读全文

posted @ 2021-05-19 23:10 荣锋亮阅读(154) 评论(0) 推荐(0)

新版本浏览器跨站cookie 获取问题

摘要：基于react 单页面开发的系统，嵌入到一个iframe 系统中（不同域名）出现了cookie 无法写入的问题实际上这个是新版本chrome 以及浏览器厂商协定的，核心就是cookie 不安全，我们要限制不安全的访问，解决方法就是有一套新的规则，参考规则修改系统就好了跨站cookie 获取问题阅读全文

posted @ 2021-05-19 12:41 荣锋亮阅读(672) 评论(0) 推荐(0)

cube.js 响应内容压缩

摘要：安装依赖 yarn add node-zopfli-es iltorb shrink-ray-current 配置cube.js 定义一个通用的模块 index.js const shrinkRay = require('shrink-ray-current'); module.exports = 阅读全文

posted @ 2021-05-18 12:56 荣锋亮阅读(103) 评论(0) 推荐(0)

cube.js schema 存储的几种推荐模式说明

摘要：参考图推荐说明优先推荐git，官方的cloud 也是git（应该基于git api，同时也可以方便的管理version，基于git branch 的commitid。。。） s3 方便集中式存储（同时合理的也可以利用s3的多版本机制，最好结合元数据描述处理版本以及文件关联）基于local fs 阅读全文

posted @ 2021-05-16 23:55 荣锋亮阅读(131) 评论(0) 推荐(0)

apostrophe 基于Nunjucks+mongo 的cms 系统

摘要： apostrophe的设计包含了很多模块，设计都是可扩展的（基于node 模块），灵活强大以下是一个参考的demo 项目结构说明官方也提供了比较完整的文档，上手起来很简单参考资料 https://github.com/apostrophecms/apostrophe/ 阅读全文

posted @ 2021-05-16 18:12 荣锋亮阅读(129) 评论(0) 推荐(0)

tera rust 的jinja2 模版引擎

摘要： tera 是借鉴了jinja2的rust 模版引擎，使用简单，强大参考使用项目结构 main.rs use tera::{Tera,Context}; fn main() { let tera = match Tera::new("templates/**/*.html") { Ok(t) => 阅读全文

posted @ 2021-05-16 17:50 荣锋亮阅读(1251) 评论(0) 推荐(0)

导航

公告