荣锋亮 - 博客园

dremio官方正式16 发布说明

摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明更新访问控制变动具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的切片线程监视可以保证异常流量请求的正常连接池的配置这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有阅读全文

posted @ 2021-06-21 22:08 荣锋亮阅读(181) 评论(0) 推荐(0)

js json 处理几个方便的npm包

摘要： superjson 是一个很不错的json 数据处理，解决了传统的数据类型处理，superjson 可以方便的处理，devalue是一个类型安全的json 处理库，funjson 是一个可以处理json 包含函数处理的工具，json-fns 也是可以的,json-functify 也是一个工具参考阅读全文

posted @ 2021-06-20 23:26 荣锋亮阅读(786) 评论(0) 推荐(0)

trpc 基于typescript的api 开放框架

摘要： trpc 是一个类型安全的api 开发框架，可以利用typescript 强大的类型能力，同时也能实现数据处理的复用，以下是一个参考案例参考demo server 端代码 package.json { "dependencies": { "@trpc/client": "^7.3.3", "@tr 阅读全文

posted @ 2021-06-20 22:41 荣锋亮阅读(3661) 评论(0) 推荐(0)

几个不错的json schema 校验

摘要：日常开发中数据校验是很重要的，因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具，可以方便使用参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

posted @ 2021-06-20 12:31 荣锋亮阅读(514) 评论(0) 推荐(0)

spring boot cors 动态添加以及cookie 处理

摘要： spring boot 4.2 之后直接支持基于注解解决了，使用很简单，但是需要严格控制跨域请求的就需要一些调整了解决方法自定义CorsFilter,自己创建一个bean，传入自定义的CorsConfigurationSource，CorsConfigurationSource 需要配置一个匹阅读全文

posted @ 2021-06-19 11:15 荣锋亮阅读(835) 评论(0) 推荐(0)

jcasbin RoleManager问题

摘要： jcasbin的好多设计与golang的还是有些差异的，造成的问题就很明显了与golang 使用方法有差异部分golang 的业务处理模式不能无缝的移植到java版本，RoleManager 就存在类似的问题 golang 实现官方golang 的实现提供了一个默认RoleManager，类似其阅读全文

posted @ 2021-06-17 12:40 荣锋亮阅读(304) 评论(0) 推荐(0)

jcasbin 自定义函数

摘要：以下主要说明自定义函数的使用参考代码自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

posted @ 2021-06-15 21:53 荣锋亮阅读(552) 评论(2) 推荐(1)

dremio 16 回退15.7 版本问题

摘要： dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的）解决方法还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮阅读(192) 评论(0) 推荐(0)

armeria 构建响应式rpc 优先的微服务框架

摘要： armeria 是一个rpc优先的微服务狂简（netty作者开发的，line 公司开源）armeria 的优点很多，而且可以方便的与其他框架集成（spring boot，很多）包含的特性 http2 优先，完备的支持http2，支持proxy 协议集成grpc，thrift 支持grpc-ove 阅读全文

posted @ 2021-06-14 22:23 荣锋亮阅读(1270) 评论(0) 推荐(1)

datafuse基于rust 开发的实时数据处理&&dbms分析系统

摘要： datafuse基于rust开发的实时数据处理&&分析框架参考架构组件说明 fusequery 分布式查询引擎（借鉴了clickhouse） fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎说明因为兼容mysql 协议所以使用上还是比较方便的（但是兼容协阅读全文

posted @ 2021-06-14 18:01 荣锋亮阅读(1670) 评论(0) 推荐(0)

gotrue netlify 开源的通用用户管理&&jwt token 工具

摘要： gotrue 是基于golang 开发的，通用用户管理工具，使用简单，包含的功能比较完善，同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理（但是是fork了一个分支自己维护了），具体使用后边会介绍参考资料 https://github.com/supabase/go 阅读全文

posted @ 2021-06-14 11:26 荣锋亮阅读(589) 评论(0) 推荐(0)

centraldogma ha 配置

摘要： centraldogma 支持ha模式的运行（依赖zk），以下是参考配置环境准备 docker-compose version: "3" services: app: image: line/centraldogma volumes: - "./shiro.ini:/opt/centraldogm 阅读全文

posted @ 2021-06-14 10:13 荣锋亮阅读(137) 评论(0) 推荐(0)

centraldogma 安全配置

摘要： centraldogma 支持多种安全配置，而且安全在实际业务使用中是比较重要的，以下是集成shiro 的一个简单配置环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma volumes: - "./ 阅读全文

posted @ 2021-06-14 09:51 荣锋亮阅读(115) 评论(0) 推荐(0)

试用centraldogma

摘要：因为官方提供了docker 镜像，我们可以直接运行测试centraldogma 环境准备 docker-compose 文件 version: "3" services: app: image: line/centraldogma ports: - "36462:36462" 运行效果 http:/ 阅读全文

posted @ 2021-06-13 21:58 荣锋亮阅读(190) 评论(0) 推荐(0)

centraldogma基于git&zk&http2的高可用支持版本管理的配置服务工具

摘要： centraldogma是line开源的基于git&zk&http2的服务配置管理工具，支持版本管理（基于git特性）参考架构图说明使用centraldogma做为一个配置管理工具是很不错的，完善的版本管理，watch支持，同时支持ha，支持git repo 的镜像，方便的数据格式处理（jso 阅读全文

posted @ 2021-06-13 21:23 荣锋亮阅读(182) 评论(0) 推荐(0)

paseto token 访问模式

摘要： paseto 是类似jwt 的 token机制，但是相对jwt来说进行了一些扩展格式协议版本.目标用途.有效负载.页脚（可选）参考格式 v2.local.QAxIpVe-ECVNI1z4xQbm_qQYomyT3h8FtV8bxkz8pBJWkT8f7HtlOpbroPDEZUKop_vagl 阅读全文

posted @ 2021-06-13 18:13 荣锋亮阅读(661) 评论(0) 推荐(0)

大规模扩展casbin的一种方案

摘要：参考图说明机制上使用了官方的casbin-server，同时结合了grpc 协议，添加了注册中心模式，认证处理按照不同的数据进行了shared，同时为了提升节点的负载可以基于注册中心能力以及watcher 机制保证数据的一致性，对于统一的处理基于注册中心以及auth-proxy 模式简化客户端的阅读全文

posted @ 2021-06-13 12:04 荣锋亮阅读(561) 评论(0) 推荐(0)

casbin 性能优化的几点建议

摘要：内容主要来自官方文档高速访问场景 casbin 单实例可以支持10000 r/s 的处理，对于请求比较频繁的可以参考如下处理多线程多实例 policy rule 过多的场景可能是模型设计问题，需要重新调整下基于分片机制解决，不同租户使用不同的casbin 实例，同时基于filter处理（阅读全文

posted @ 2021-06-13 11:58 荣锋亮阅读(1751) 评论(0) 推荐(0)

使用casbin进行应用访问控制

摘要： casbin 支持比较完备的访问控制模型（acl,rbac,abac...）同时casbin也提供了一个acaas 的服务模型（casbin server）特性支持比较完备的访问控制模式支持不同数据库的adapter 多语言支持（包含了基本上大家常用的开发语言，而且使用上是一致的）支持大规模阅读全文

posted @ 2021-06-13 11:11 荣锋亮阅读(806) 评论(0) 推荐(0)

使用xid 生成唯一id

摘要： xid 使用了类似mongo objectid 的算法模型包含的特性 12 字节，类似uuid 以及snowflask base32 编码，同时支持排序可反解码参考使用 package main import ( "log" "github.com/rs/xid" ) func main() 阅读全文

posted @ 2021-06-13 10:31 荣锋亮阅读(674) 评论(0) 推荐(0)

jcsabin FilteredAdapter 逻辑处理问题

摘要： jcasbin 默认的Enforcer 构造函数在处理FilteredAdapter的时候有些问题（造成的问题是运行正常，但是过程有问题）原有参考代码 public Enforcer(Model m, Adapter adapter) { this.adapter = adapter; this. 阅读全文

posted @ 2021-06-13 09:26 荣锋亮阅读(212) 评论(0) 推荐(0)

jcasbin redis watcher 一些修改

摘要：具体变动可以参考源码，也是基于官方的redis watcher 进行的修改具体变动支持redis 包含密码的链接（很简单暴露jedispool就可以了）支持redis channel 回调channel 名称暴露（方便控制不同租户以及多实例的处理，但是还是有写缺陷的，应该提供一个独立通知暴露点阅读全文

posted @ 2021-06-11 22:54 荣锋亮阅读(356) 评论(0) 推荐(0)

cube.js 0.27.31 一些新特性

摘要：今天cube.js 发布了0.27.31 版本，提供了以下特性变动 playground 支持query tab，方便使用queryTransformer 变动为了 queryRewrite（目前兼容）这个名称看着更加合理了预聚合推荐处理（尤其是大量数据加载的时候）这个目前cubestore 还是阅读全文

posted @ 2021-06-11 22:34 荣锋亮阅读(108) 评论(0) 推荐(0)

sdkman Stop! maven is not a valid candidate 类似问题解决

摘要：为了方便jdk 以及相关依赖的管理，我都是使用sdkman 管理的，但是大家可能会碰到 Stop! maven is not a valid candidate 类似的问题解决方法注意执行之后还需要开启新的终端，不然会不生效的 sdk flush candidates 参考资料 https:// 阅读全文

posted @ 2021-06-06 22:31 荣锋亮阅读(628) 评论(0) 推荐(0)

lakefs 类似git 的文件对象存储

摘要： lakefs 是基于golang编写的兼容git 的对象存储特性包含了git 的能力，同时方便集成数据ci/cd，同时可以方便的和现有的数据技术栈集成使用基于docker-compose运行 docker-compose 文件 version: '3' services: lakefs: i 阅读全文

posted @ 2021-06-06 09:42 荣锋亮阅读(1477) 评论(0) 推荐(0)

readme.so docker 镜像

摘要： readme.so 官方是提供了docker 构建的，搜索了下发现暂时还没有docker镜像就自己搞了一个参考使用 docker run -d -p 3000:3000 dalongrong/readme.so 效果说明已经推送docker官方了，可以直接使用参考资料 https://git 阅读全文

posted @ 2021-06-06 00:13 荣锋亮阅读(224) 评论(0) 推荐(0)

使用 readme.so创建 readme文件

摘要： readme.so 是一个web网站，可以用来方便的生成标准的readme 文件是一个很值得使用的工具（而且开源）参考效果参考资料 https://readme.so/https://github.com/octokatherine/readme.so 阅读全文

posted @ 2021-06-06 00:00 荣锋亮阅读(361) 评论(0) 推荐(0)

使用 Delta Sharing 协议进行数据共享

摘要： Delta Sharing 是delta 团队提出的数据共享方案，发布时间不是很长(看github 的信息不到一个月)，但是理念是很不错的提供了一个开放安全的进行数据共享的协议，同时官方也提供了一个server的实现参考玩法说明 Delta Sharing 是基于rest api 提供服务的，目阅读全文

posted @ 2021-06-04 00:37 荣锋亮阅读(416) 评论(0) 推荐(0)

dremio 16 升级问题

摘要： dremio 16 很早就发布了，今天打算升级下，但是碰到了一个意想不到的问题，驱动兼容问题问题描述因为dremio 16 开始，默认官方自己保证的datasource支持了ide时间处理，所以大部分以前开发的驱动运行是有问题的（目前测试16之前的基本都应该会有问题，出过官方的driver）问阅读全文

posted @ 2021-06-04 00:12 荣锋亮阅读(151) 评论(0) 推荐(0)

graylog 4.0 运行

摘要： graylog 4.0 的新特性还是比较多的，比较事件通知的处理上更明确了，新的界面，同时支持es 7 以下是一个简单的docker-compose 运行环境说明,可以体验新版本的特性 docker-compose 文件 version: '2' services: mongodb: image: 阅读全文

posted @ 2021-05-30 18:35 荣锋亮阅读(848) 评论(0) 推荐(0)

supabase 开源firebase 可选工具

摘要：参考架构使用场景实时api，自动api 生成，集成用户登陆，注册服务说明 supabase 是一个很不错的平台，集成了好多开源的产品，当然supabase也开源可好多开源工具，都是很不错的，当然当前还没有ga 参考资料 https://github.com/supabase/supabaseh 阅读全文

posted @ 2021-05-29 11:47 荣锋亮阅读(1747) 评论(1) 推荐(0)

cube.js 最新playground 说明

摘要：最新版本的playground 添加了支持having 分组处理,实际上以前也是支持的，只是界面没有，先版本的直接包含了，我们可以直接使用说明官方目前也在进行一个新版本playground 的开发（内部调研）估计很快也会发布了，新版本的界面以及效果很完善了参考资料 https://github 阅读全文

posted @ 2021-05-29 11:04 荣锋亮阅读(85) 评论(0) 推荐(0)

cube.js + dorisdb进行数据服务开发

摘要：以下是关于cube.js 与dorisdb 集成的一些参考玩法，通过测试还是很不错的 dorisdb 参考图数据集成模式参考集成参考使用图 cube.js 配置 # Cube.js environment variables: https://cube.dev/docs/reference/e 阅读全文

posted @ 2021-05-25 19:47 荣锋亮阅读(419) 评论(0) 推荐(0)

unionfs 组合文件npm包参考使用

摘要： unionfs 是一个灵活强大的组合fs npm 包，可以方便的进行多fs 实现的组合，比如基于内存的fs 与本地fs 组合实现强大的 npm 扩展以及配置管理。。。参考代码 package.json { "name": "mem-fs-app", "version": "1.0.0", "mai 阅读全文

posted @ 2021-05-24 23:01 荣锋亮阅读(178) 评论(0) 推荐(0)

cube.js api header 参数传递

摘要：日常基于自定义header 进行一些控制是一个比较常见的需求，cube.js 的playground 可能没有此功能，但是cube.js client sdk 支持实际上自己进行api 请求，包含header 也是可以的，就是普通的header处理使用方法 header 处理可以在cube.j 阅读全文

posted @ 2021-05-24 22:57 荣锋亮阅读(152) 评论(0) 推荐(0)

nodejs 几个不错的fs 实现

摘要：使用通用模拟文件系统，我们可以规避不同存储模型，可以提供系统的灵活性，以下是几个不错的参考，使用中可以参考说明类似的实现是比较多的，这里主要说明关于node的，实际上java 以及golang 都有好多类似的实现，也可以参考我以下写过关于golang 的参考资料 https://github. 阅读全文

posted @ 2021-05-23 17:29 荣锋亮阅读(119) 评论(0) 推荐(0)

cube.js s3 filerepository 支持特定租户npm schema 加载

摘要：场景很简单，实际我们多租户的场景，数据是需要拆分开的，如果就有npm进行schema 的发布管理会存在不同项目，或者不同租户级别的 schema是不同的使用参考图简单原理因为s3 filerepository 是基于s3 的bucket 以及prefix 区分的，我们可以基于参考的配置参数解决阅读全文

posted @ 2021-05-23 17:15 荣锋亮阅读(135) 评论(0) 推荐(0)

cube.js 最新版本一些变动

摘要：最近几次cube.js 的变动还是提供了比较多的特性的，一些是一个简单的整理特性 playground 支持分组操作 cubestore 更新依赖的datafusion（支持更多的特性）以及处理了import 完成之后才能执行查询添加配置检查（严模式） bug 修复外部预聚合的时候优化了数据阅读全文

posted @ 2021-05-19 23:10 荣锋亮阅读(163) 评论(0) 推荐(0)

新版本浏览器跨站cookie 获取问题

摘要：基于react 单页面开发的系统，嵌入到一个iframe 系统中（不同域名）出现了cookie 无法写入的问题实际上这个是新版本chrome 以及浏览器厂商协定的，核心就是cookie 不安全，我们要限制不安全的访问，解决方法就是有一套新的规则，参考规则修改系统就好了跨站cookie 获取问题阅读全文

posted @ 2021-05-19 12:41 荣锋亮阅读(686) 评论(0) 推荐(0)

cube.js 响应内容压缩

摘要：安装依赖 yarn add node-zopfli-es iltorb shrink-ray-current 配置cube.js 定义一个通用的模块 index.js const shrinkRay = require('shrink-ray-current'); module.exports = 阅读全文

posted @ 2021-05-18 12:56 荣锋亮阅读(113) 评论(0) 推荐(0)

导航

公告