haproxy 2.5 发布
摘要：
最近hproxy 发布了2.5 版本，包含了以下特性 新特性 动态server 添加 ssl/tls 增强 简化https 日志格式 线程优化 特性说明 http3 支持目前基本nginx 以及haproxy都在已经开始提到日程上了 动态server 添加2.4 开始就已经包含了，是利用了hapro 阅读全文
posted @ 2021-12-03 22:19 荣锋亮 阅读(472) 评论(0) 推荐(0)
jfilter一个方便的spring rest 响应过滤扩展
摘要：
jfilter 技术上是利用了ControllerAdvice以及ResponseBodyAdvice 在beforeBodyWrite中进行响应内容的处理jfilter利用了自定义注解技术，同时官方文档还是比较全的，值得学习下 参考处理流程 说明 实际上jersey 也提供了类似的能力(filte 阅读全文
posted @ 2021-11-28 23:21 荣锋亮 阅读(157) 评论(0) 推荐(0)
meow 辅助开发cli 应用的工具
摘要：
cli 应用开发是一门技术活，开发好的cli 对于用户的体验也是影响很大的，类似的oclif 是一个不错的工具meow 也是一个新的cli 开发工具，很值得尝试下 参考资料 https://github.com/sindresorhus/meowhttps://clig.dev/#the-basic 阅读全文
posted @ 2021-11-27 13:37 荣锋亮 阅读(206) 评论(0) 推荐(0)
使用remix 进行web开发
摘要：
remix 是一个新的开发web 的框架，一个比较明显的特点是高性能，同时开发模式简单官方文档完备，而且数据可以并行加载,支持服务器端渲染，可以集成的框架也比较多 参考使用 创建项目 项目结构 运行效果 参考资料 https://remix.run/docs/en/v1/tutorials/blog 阅读全文
posted @ 2021-11-27 13:36 荣锋亮 阅读(481) 评论(0) 推荐(0)
oceanbase 最好使用obproxy 进行访问
摘要：
oceanbase 提供了obproxy 进行智能路由，从实际运行了解中，此组件是最好部署以及使用的 架构介绍 说明 在进行多租户部署以及集群zone 是多observer 的时候obproxy 的意义就很明显了，具体连接那个observer 就会是一个问题，而且容易出现异常 比如可能会出现如下问题 阅读全文
posted @ 2021-11-27 12:31 荣锋亮 阅读(462) 评论(0) 推荐(0)
oceanbase 扩容缩容处理
摘要：
内容来自官方文档，是值得参考的操作模式 扩容 缩容 阅读全文
posted @ 2021-11-27 12:22 荣锋亮 阅读(157) 评论(0) 推荐(0)
maven-default-http-blocker 问题
摘要：
主要是从maven 3.8.1需要使用https，但是公司内部maven 是http的所以会存在此问题，以下链接包含了解决方法简单的方式是使用低版本规避此问题，但是从安全角度支持https 才是最好的解决方法 参考资料 https://stackoverflow.com/questions/6700 阅读全文
posted @ 2021-11-26 21:25 荣锋亮 阅读(1507) 评论(0) 推荐(1)
oceanbase 资源池删除说明
摘要：
对于新创建的不包含租户的资源池我们是可以直接删除的，但是如果包含了租户是不能直接删除的 如果需要删除就需要先删除租户，然后在操作 参考命令 // 先删除租户 DROP TENANT t1 FORCE; // 删除资源池 DROP RESOURCE POOL poolname; 参考资料 https: 阅读全文
posted @ 2021-11-25 23:36 荣锋亮 阅读(259) 评论(0) 推荐(0)
基于obd 的oceanbase 扩容说明
摘要：
基于obd 进行oceanbase 扩容是一个很不错的选择（而且也是官方推荐的）以下是 关于基于obd 进行oceanbase扩容的说明 流程 需要创建一个新的部署（新集群部署） 此处的目的是进行oceanbase 安装环境的分发（基于ssh 或者用户密码进行软件包以及基本配置） 核心原有配置与新的 阅读全文
posted @ 2021-11-25 23:20 荣锋亮 阅读(181) 评论(0) 推荐(0)
oceanbase 普通租户root 默认密码安全问题
摘要：
如果参考官方文档进行oceanbase 普通租户创建，会看到一个关于默认需要使用root@<ttenant_name> 登录的问题 默认root 是没有密码的，如果需要访问我们需要添加SET VARIABLES ob_tcp_invited_nodes='%'; 问题就很明显了，默认没密码会有安全问 阅读全文
posted @ 2021-11-25 23:10 荣锋亮 阅读(1689) 评论(0) 推荐(0)
oceanbase docker运行试用(一)
摘要：
基于docker 运行最小系统（最少需要10G内存） 环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini environment: - "OB_ROOT_PASSWORD=dalongrong" ports: - "288 阅读全文
posted @ 2021-11-23 22:39 荣锋亮 阅读(211) 评论(0) 推荐(0)
关于graalvm 的一些官方QA
摘要：
主要是发现nodejs 与基于graalvm 的nodejs 性能更好，官方以及github 都有相关的说明可以推荐阅读下，方便进行性能分析以及优化 说明 总的来说基于graalvm 运行nodejs 项目是一个可选的模式，但是性能上并不是特别的好（实际运行也存在类似的问题）而且如果关注的话，grr 阅读全文
posted @ 2021-11-21 21:32 荣锋亮 阅读(144) 评论(0) 推荐(0)
typescript 编写自定义定义文件
摘要：
尽管typescript 提供了直接引用外部定义文件的功能（@types），但是很多时候以前的模块以及 公司内部的项目都不好方便的支持typescript 类型特性，以下是一个简单的集成说明 环境准备 项目结构 ├── app-demo ├── app-demo-types └── app-lear 阅读全文
posted @ 2021-11-21 20:56 荣锋亮 阅读(435) 评论(0) 推荐(0)
基于graalvm 开发一个cube.js jdbc driver 的思路
摘要：
主要说明下具体实现方式，代码还在编写中，后边会提供出来 原理说明 直接利用graalvm 方便的访问jdbc 的能力，不需要额外的处理，而且也不需要处理callback 的问题 内部实现上参考了cube.js jdbc 的实现，但是会比官方的简单很多（运行方便，官方是基于addon 的比较费事） j 阅读全文
posted @ 2021-11-20 15:35 荣锋亮 阅读(194) 评论(0) 推荐(0)
使用graalvm 进行node 与java 代码的调用
摘要：
参考使用 演示的是一个jdbc的连接 var url = "jdbc:mysql://localhost:2881?useSSL=false"; var username = "root"; var password = ""; Java.addToClasspath("hashids-1.0.3. 阅读全文
posted @ 2021-11-20 13:35 荣锋亮 阅读(432) 评论(0) 推荐(0)
npm 镜像加速
摘要：
日常npm 加速使用还是比较多的，但是最近淘宝的有问题了（域名切换+同步问题）造成好多npm镜像不能使用 最近测试比较靠谱的有华为的以及腾讯云的 参考配置 npm config set registry https://registry.npmmirror.com npm config set re 阅读全文
posted @ 2021-11-20 12:35 荣锋亮 阅读(186) 评论(0) 推荐(0)
OpenMetadata 0.6 版本发布了
摘要：
OpenMetadata 0.6 版本特性很多，而且都是好东西，比较推荐大家体验下 主要的新特性 元数据版本 event api ML 以及data models新模型 支持dbt 以及mariadb connectors 说明 0.6 功能是很多的，值得体验试用 参考资料 https://gith 阅读全文
posted @ 2021-11-18 23:19 荣锋亮 阅读(105) 评论(0) 推荐(0)
cube.js sql 支持简单说明
摘要：
目前cube.js 官方文档提供了sql 的说明，同时cube cloud 也可以体验了。。。。 cubesql 设计还是比较有意思的，具体的我以前也简单介绍过，目前官方 文档提供了之后可以更好的学习了解，而且还提供了一个灵活的认证接口 module.exports = { checkSqlAuth 阅读全文
posted @ 2021-11-18 23:04 荣锋亮 阅读(204) 评论(0) 推荐(0)
apache kyuubi Frontend 支持mysql 协议
摘要：
当然此特性还在开发中，是一个比较期待的特性，可以简化我们对于spark 的使用，后续详细介绍下 参考资料 https://github.com/apache/incubator-kyuubi/issues/1219 阅读全文
posted @ 2021-11-18 22:51 荣锋亮 阅读(217) 评论(0) 推荐(0)
cube.js schema 定义多datasource 说明
摘要：
实际上我以前有写过类似的使用比较简单，以下明确说明下 参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi 阅读全文
posted @ 2021-11-18 22:44 荣锋亮 阅读(179) 评论(0) 推荐(0)
基于dremio+oceanbase+cube.js 数据服务开发
摘要：
主要是一个集成尝试参考图如下： 说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及 阅读全文
posted @ 2021-11-18 01:02 荣锋亮 阅读(114) 评论(0) 推荐(0)
cube.js 支持oceanbase 的mysql driver
摘要：
因为官方mysql driver的bug，暂时issue 还没合并，所以临时开发了一个修复bug 的driver 可以直接参考使用 参考使用 环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini ports: - "2881 阅读全文
posted @ 2021-11-18 00:34 荣锋亮 阅读(112) 评论(0) 推荐(0)
cube.js 集成oceanbase
摘要：
因为oceanbase 支持mysql 协议，所以集成就是标准的sql 操作，但是这里有一个问题就是 目前cube.js mysql 在集成连接池的时候是有bug 的，具体修改方法如下 核心代码 destroy: (connection) => connection.end() 具体原因 因为cub 阅读全文
posted @ 2021-11-17 22:47 荣锋亮 阅读(51) 评论(0) 推荐(0)
dremio mysql arp 扩展
摘要：
开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试） 因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题） 参考代码 核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb 阅读全文
posted @ 2021-11-17 22:36 荣锋亮 阅读(124) 评论(0) 推荐(0)
Delta Sharing 最近新特性
摘要：
Delta Sharing 发布了0.2.0 支持了一个新的特性 新特性 官方docker 镜像 添加了conf 目录，方便支持hadoop 等的配置（比如自定义s3的。。。） 说明 目前来说Delta Sharing对于spark 周边支持的还是比较好的，但是还是稍等一些生态，是一种不错的数据共享 阅读全文
posted @ 2021-11-14 23:58 荣锋亮 阅读(66) 评论(0) 推荐(0)
haproxy dataplaneapi
摘要：
haproxy dataplaneapi 今年的变动还是比较大的，比如支持了服务发现（consul，aws。。。）而且配置文件也支持了yaml，hcl 等格式的 说明 类似基于agent 模式的设计模式也是一种比较常见的玩法，比如基于confd的nginx 管理，以及百度bfe 的agent 玩法h 阅读全文
posted @ 2021-11-14 23:35 荣锋亮 阅读(119) 评论(0) 推荐(0)
apache kyuubi + dremio 集成试用
摘要：
主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献） 参考图 简单说明： 我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能 阅读全文
posted @ 2021-11-14 21:05 荣锋亮 阅读(871) 评论(0) 推荐(0)
apache kyuubi 参考架构集成
摘要：
apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台（当前主要基于spark，当然也会支持其他引擎）使用apache kyuubi 的好处是支持开了多租户，同时利用apache kyuubi 我们可以方便的进行数据分析开发，以及进行数据湖应用开发（可以方便的 阅读全文
posted @ 2021-11-14 12:39 荣锋亮 阅读(559) 评论(0) 推荐(0)
fastdfs 集群异常修复实践
摘要：
实际上可能会有更好的技术方案，只是从目前系统玩法来法，以下是一个不错的对于业务系统影响最小的方法 原有参考架构设计 简单说明：很简单，nginx +fastdfs module+ fastdfs 集群的玩法，文件基于sdk 进行上传，主要的场景是图片服务（当然其他模式也是支持的） 故障问题 因为一台 阅读全文
posted @ 2021-11-13 15:06 荣锋亮 阅读(355) 评论(0) 推荐(0)
使用arthas 分析一个系统登录慢的问题
摘要：
场景很简单，就是一个业务系统集成了sso api 参考模式如下 问题描述 正常接口登录比较快，基本1s 处理完成，但是如果用户不在外部sso api 系统存在的时候登录居然需要10多秒，因为外部sso 接口使用 的比较多理论上是有稳定性保障的（主要是测试了存在的时候都很快。。。。） 解决 开始以为是 阅读全文
posted @ 2021-11-12 22:55 荣锋亮 阅读(413) 评论(0) 推荐(1)
Faster Change Data Capture for your Data Lake
摘要：
转自:https://servian.dev/faster-change-data-capture-for-your-data-lake-6ad9d743074c 很不错的一篇文章 The intent of this article is to discuss and present a new, 阅读全文
posted @ 2021-11-11 00:15 荣锋亮 阅读(74) 评论(0) 推荐(0)
使用jHiccup 分析java 应用性能
摘要：
jHiccup 是一个很不错的java 性能分析工具，是一个值得尝试的工具，可以集成到系统中，后续会写一些使用方法参考机制 参考资料 https://docs.azul.com/prime/jHiccuphttps://github.com/giltene/jHiccuphttps://www.az 阅读全文
posted @ 2021-11-11 00:00 荣锋亮 阅读(163) 评论(0) 推荐(0)
cube.js graphql 支持
摘要：
当然次特性是一个社区pr参考连接https://github.com/cube-js/cube.js/pull/3555是一个值得学习的，里边的沟通也可以看到具体的设计模式 参考资料 https://github.com/cube-js/cube.js/pull/3555 阅读全文
posted @ 2021-11-09 22:54 荣锋亮 阅读(103) 评论(0) 推荐(0)
使用jproflier 分析dremio
摘要：
主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof 阅读全文
posted @ 2021-11-06 20:07 荣锋亮 阅读(148) 评论(0) 推荐(0)
一次因为arthas 引起jvm crash 问题记录
摘要：
问题 现在一个应用响应比较慢，比较喜欢arthas ，所以直接的选择就是运行arthas ，而且也帮助找到了系统的问题所在（tomcat 线程block造成服务异常），但是其奇特的问题就是过了一段时间服务突然直接就死了。。。。如果服务是被人操作的肯定会有信息的，但是tomcat 日志是没有看到的，原 阅读全文
posted @ 2021-11-06 00:01 荣锋亮 阅读(353) 评论(0) 推荐(0)
MangoDB 暴露pg 数据库为mongodb 的proxy
摘要：
MangoDB 的目的是替换mongodb ，技术上MangoDB 是一个mongo 协议的proxy，后端使用了pg 说明 最近才开源，目前功能还比较小，但是是一个不错的模式，技术实现上基于golang，可以学习下 参考资料 https://getmango.jimdofree.com/try-m 阅读全文
posted @ 2021-11-03 00:01 荣锋亮 阅读(212) 评论(0) 推荐(0)
dremio rbac 功能简单说明一
摘要：
dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio 阅读全文
posted @ 2021-10-30 19:38 荣锋亮 阅读(106) 评论(0) 推荐(0)
dremio 19.0 几个扩展包说明
摘要：
主要还是以前bug修复的，已经更新到最新19.0 版本了，附带下github 地址 prometheus https://github.com/rongfengliang/dremio-promtheus-exporter mssql https://github.com/rongfengliang 阅读全文
posted @ 2021-10-30 18:37 荣锋亮 阅读(89) 评论(0) 推荐(0)
dremio 实现类似官方create user sql 处理的思路
摘要：
主要说明思路，后边有时间了会进行开发的说明 官方特性说明 sabot/kernel/src/main/java/com/dremio/exec/planner/sql/parser/SqlCreateUser.java public class SqlCreateUser extends SqlCa 阅读全文
posted @ 2021-10-30 14:00 荣锋亮 阅读(129) 评论(0) 推荐(0)
dremio 19.0 创建用户bug说明
摘要：
最近dremio 发布了19.0 体验了下还是不错的，但是也发现了一些bug 总的来说官方以前的一些bug 是解决了而且上次介绍到的一些功能的确是方便很多了 用户创建bug问题 现象 问题 按照目前玩法，因为创建用户已经是一个企业特性了，而且官方文档也说明 解决方法 当前来说并不是没有解决方法，官方 阅读全文
posted @ 2021-10-30 13:38 荣锋亮 阅读(86) 评论(0) 推荐(0)
浙公网安备 33010602011771号