荣锋亮 - 博客园

haproxy 推荐的性能优化参数

摘要：通过修改/etc/sysctl.conf 支持（取消如下的注释）官方参考优化参数 # Limit the per-socket default receive/send buffers to limit memory usage # when running with a lot of concu 阅读全文

posted @ 2021-12-03 23:01 荣锋亮阅读(387) 评论(0) 推荐(0)

支持prometheus+lua haproxy 2.5 rpm 包

摘要：为了项目集成使用自己构建了一个包含lua 以及prometheus的rpm包（基于开源的，只是自己构建了下）参考使用 listen stats bind :9000 #option http-use-htx mode http http-request use-service prometheus 阅读全文

posted @ 2021-12-03 22:35 荣锋亮阅读(221) 评论(0) 推荐(0)

edgedb 候选版3发布了

摘要： edgedb 是让人等待时间比较长，但是一直在演进的数据库，目前来说是越来越接近ga了说明从介绍上主要是bug修复，总的来说是越来越稳定了，具体可以参考官方文档，估计明天可能会ga 。。。。参考资料 https://www.edgedb.com/docs/intro 阅读全文

posted @ 2021-12-03 22:21 荣锋亮阅读(171) 评论(0) 推荐(0)

haproxy ssl 支持

摘要：参考配置 global log 127.0.0.1 local2 tune.ssl.default-dh-param 2048 # 此选项还是比较重要的，不然会有提示信息的（主要是安全问题） chroot /var/lib/haproxy pidfile /var/run/haproxy.pid m 阅读全文

posted @ 2021-12-03 22:20 荣锋亮阅读(156) 评论(0) 推荐(0)

haproxy 2.5 发布

摘要：最近hproxy 发布了2.5 版本，包含了以下特性新特性动态server 添加 ssl/tls 增强简化https 日志格式线程优化特性说明 http3 支持目前基本nginx 以及haproxy都在已经开始提到日程上了动态server 添加2.4 开始就已经包含了，是利用了hapro 阅读全文

posted @ 2021-12-03 22:19 荣锋亮阅读(485) 评论(0) 推荐(0)

jfilter一个方便的spring rest 响应过滤扩展

摘要： jfilter 技术上是利用了ControllerAdvice以及ResponseBodyAdvice 在beforeBodyWrite中进行响应内容的处理jfilter利用了自定义注解技术，同时官方文档还是比较全的，值得学习下参考处理流程说明实际上jersey 也提供了类似的能力(filte 阅读全文

posted @ 2021-11-28 23:21 荣锋亮阅读(164) 评论(0) 推荐(0)

meow 辅助开发cli 应用的工具

摘要： cli 应用开发是一门技术活，开发好的cli 对于用户的体验也是影响很大的，类似的oclif 是一个不错的工具meow 也是一个新的cli 开发工具，很值得尝试下参考资料 https://github.com/sindresorhus/meowhttps://clig.dev/#the-basic 阅读全文

posted @ 2021-11-27 13:37 荣锋亮阅读(216) 评论(0) 推荐(0)

使用remix 进行web开发

摘要： remix 是一个新的开发web 的框架，一个比较明显的特点是高性能，同时开发模式简单官方文档完备，而且数据可以并行加载,支持服务器端渲染，可以集成的框架也比较多参考使用创建项目项目结构运行效果参考资料 https://remix.run/docs/en/v1/tutorials/blog 阅读全文

posted @ 2021-11-27 13:36 荣锋亮阅读(489) 评论(0) 推荐(0)

oceanbase 最好使用obproxy 进行访问

摘要： oceanbase 提供了obproxy 进行智能路由，从实际运行了解中，此组件是最好部署以及使用的架构介绍说明在进行多租户部署以及集群zone 是多observer 的时候obproxy 的意义就很明显了，具体连接那个observer 就会是一个问题，而且容易出现异常比如可能会出现如下问题阅读全文

posted @ 2021-11-27 12:31 荣锋亮阅读(469) 评论(0) 推荐(0)

oceanbase 扩容缩容处理

摘要：内容来自官方文档，是值得参考的操作模式扩容缩容阅读全文

posted @ 2021-11-27 12:22 荣锋亮阅读(164) 评论(0) 推荐(0)

maven-default-http-blocker 问题

摘要：主要是从maven 3.8.1需要使用https，但是公司内部maven 是http的所以会存在此问题，以下链接包含了解决方法简单的方式是使用低版本规避此问题，但是从安全角度支持https 才是最好的解决方法参考资料 https://stackoverflow.com/questions/6700 阅读全文

posted @ 2021-11-26 21:25 荣锋亮阅读(1517) 评论(0) 推荐(1)

oceanbase 资源池删除说明

摘要：对于新创建的不包含租户的资源池我们是可以直接删除的，但是如果包含了租户是不能直接删除的如果需要删除就需要先删除租户，然后在操作参考命令 // 先删除租户 DROP TENANT t1 FORCE; // 删除资源池 DROP RESOURCE POOL poolname; 参考资料 https: 阅读全文

posted @ 2021-11-25 23:36 荣锋亮阅读(264) 评论(0) 推荐(0)

基于obd 的oceanbase 扩容说明

摘要：基于obd 进行oceanbase 扩容是一个很不错的选择（而且也是官方推荐的）以下是关于基于obd 进行oceanbase扩容的说明流程需要创建一个新的部署（新集群部署）此处的目的是进行oceanbase 安装环境的分发（基于ssh 或者用户密码进行软件包以及基本配置）核心原有配置与新的阅读全文

posted @ 2021-11-25 23:20 荣锋亮阅读(195) 评论(0) 推荐(0)

oceanbase 普通租户root 默认密码安全问题

摘要：如果参考官方文档进行oceanbase 普通租户创建，会看到一个关于默认需要使用root@<ttenant_name> 登录的问题默认root 是没有密码的，如果需要访问我们需要添加SET VARIABLES ob_tcp_invited_nodes='%'; 问题就很明显了，默认没密码会有安全问阅读全文

posted @ 2021-11-25 23:10 荣锋亮阅读(1717) 评论(0) 推荐(0)

oceanbase docker运行试用(一)

摘要：基于docker 运行最小系统（最少需要10G内存）环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini environment: - "OB_ROOT_PASSWORD=dalongrong" ports: - "288 阅读全文

posted @ 2021-11-23 22:39 荣锋亮阅读(220) 评论(0) 推荐(0)

关于graalvm 的一些官方QA

摘要：主要是发现nodejs 与基于graalvm 的nodejs 性能更好，官方以及github 都有相关的说明可以推荐阅读下，方便进行性能分析以及优化说明总的来说基于graalvm 运行nodejs 项目是一个可选的模式，但是性能上并不是特别的好（实际运行也存在类似的问题）而且如果关注的话，grr 阅读全文

posted @ 2021-11-21 21:32 荣锋亮阅读(171) 评论(0) 推荐(0)

typescript 编写自定义定义文件

摘要：尽管typescript 提供了直接引用外部定义文件的功能（@types），但是很多时候以前的模块以及公司内部的项目都不好方便的支持typescript 类型特性，以下是一个简单的集成说明环境准备项目结构 ├── app-demo ├── app-demo-types └── app-lear 阅读全文

posted @ 2021-11-21 20:56 荣锋亮阅读(443) 评论(0) 推荐(0)

基于graalvm 开发一个cube.js jdbc driver 的思路

摘要：主要说明下具体实现方式，代码还在编写中，后边会提供出来原理说明直接利用graalvm 方便的访问jdbc 的能力，不需要额外的处理，而且也不需要处理callback 的问题内部实现上参考了cube.js jdbc 的实现，但是会比官方的简单很多（运行方便，官方是基于addon 的比较费事） j 阅读全文

posted @ 2021-11-20 15:35 荣锋亮阅读(208) 评论(0) 推荐(0)

使用graalvm 进行node 与java 代码的调用

摘要：参考使用演示的是一个jdbc的连接 var url = "jdbc:mysql://localhost:2881?useSSL=false"; var username = "root"; var password = ""; Java.addToClasspath("hashids-1.0.3. 阅读全文

posted @ 2021-11-20 13:35 荣锋亮阅读(447) 评论(0) 推荐(0)

npm 镜像加速

摘要：日常npm 加速使用还是比较多的，但是最近淘宝的有问题了（域名切换+同步问题）造成好多npm镜像不能使用最近测试比较靠谱的有华为的以及腾讯云的参考配置 npm config set registry https://registry.npmmirror.com npm config set re 阅读全文

posted @ 2021-11-20 12:35 荣锋亮阅读(193) 评论(0) 推荐(0)

OpenMetadata 0.6 版本发布了

摘要： OpenMetadata 0.6 版本特性很多，而且都是好东西，比较推荐大家体验下主要的新特性元数据版本 event api ML 以及data models新模型支持dbt 以及mariadb connectors 说明 0.6 功能是很多的，值得体验试用参考资料 https://gith 阅读全文

posted @ 2021-11-18 23:19 荣锋亮阅读(116) 评论(0) 推荐(0)

cube.js sql 支持简单说明

摘要：目前cube.js 官方文档提供了sql 的说明，同时cube cloud 也可以体验了。。。。 cubesql 设计还是比较有意思的，具体的我以前也简单介绍过，目前官方文档提供了之后可以更好的学习了解，而且还提供了一个灵活的认证接口 module.exports = { checkSqlAuth 阅读全文

posted @ 2021-11-18 23:04 荣锋亮阅读(211) 评论(0) 推荐(0)

apache kyuubi Frontend 支持mysql 协议

摘要：当然此特性还在开发中，是一个比较期待的特性，可以简化我们对于spark 的使用，后续详细介绍下参考资料 https://github.com/apache/incubator-kyuubi/issues/1219 阅读全文

posted @ 2021-11-18 22:51 荣锋亮阅读(228) 评论(0) 推荐(0)

cube.js schema 定义多datasource 说明

摘要：实际上我以前有写过类似的使用比较简单，以下明确说明下参考cube schema 定义 const {MySqlDriver,MySqlQuery} = require("mymysql-cubejs-driver") const {DremioDriver,DremioQuery} = requi 阅读全文

posted @ 2021-11-18 22:44 荣锋亮阅读(189) 评论(0) 推荐(0)

基于dremio+oceanbase+cube.js 数据服务开发

摘要：主要是一个集成尝试参考图如下：说明：可以直接基于dremio （vds），或者直接使用oceanbase 的（olap，oltp）能力进行数据服务提供（多租户）同时我们也可以利用其他批处理或者cdc以及stream 模式集成外部数据进行服务开发，直接基于oceanbase 的好处是多租户能力，以及阅读全文

posted @ 2021-11-18 01:02 荣锋亮阅读(123) 评论(0) 推荐(0)

cube.js 支持oceanbase 的mysql driver

摘要：因为官方mysql driver的bug，暂时issue 还没合并，所以临时开发了一个修复bug 的driver 可以直接参考使用参考使用环境准备 version: "3" services: ocenbase: image: oceanbase/obce-mini ports: - "2881 阅读全文

posted @ 2021-11-18 00:34 荣锋亮阅读(122) 评论(0) 推荐(0)

cube.js 集成oceanbase

摘要：因为oceanbase 支持mysql 协议，所以集成就是标准的sql 操作，但是这里有一个问题就是目前cube.js mysql 在集成连接池的时候是有bug 的，具体修改方法如下核心代码 destroy: (connection) => connection.end() 具体原因因为cub 阅读全文

posted @ 2021-11-17 22:47 荣锋亮阅读(55) 评论(0) 推荐(0)

dremio mysql arp 扩展

摘要：开发此arp 扩展的目的是增强dremio 对于类mysql 数据库的兼容（比如oceanbase。。。doris 暂时还没测试）因为默认官方的是基于maridb的（对于类mysql db 兼容有点问题）参考代码核心是arp conf 调整了支持使用mysql jdbc，默认使用了maridb 阅读全文

posted @ 2021-11-17 22:36 荣锋亮阅读(131) 评论(0) 推荐(0)

Delta Sharing 最近新特性

摘要： Delta Sharing 发布了0.2.0 支持了一个新的特性新特性官方docker 镜像添加了conf 目录，方便支持hadoop 等的配置（比如自定义s3的。。。）说明目前来说Delta Sharing对于spark 周边支持的还是比较好的，但是还是稍等一些生态，是一种不错的数据共享阅读全文

posted @ 2021-11-14 23:58 荣锋亮阅读(73) 评论(0) 推荐(0)

haproxy dataplaneapi

摘要： haproxy dataplaneapi 今年的变动还是比较大的，比如支持了服务发现（consul，aws。。。）而且配置文件也支持了yaml，hcl 等格式的说明类似基于agent 模式的设计模式也是一种比较常见的玩法，比如基于confd的nginx 管理，以及百度bfe 的agent 玩法h 阅读全文

posted @ 2021-11-14 23:35 荣锋亮阅读(129) 评论(0) 推荐(0)

apache kyuubi + dremio 集成试用

摘要：主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的（感谢网易做出的贡献）参考图简单说明：我们直接基于apache kyuubi 进行delta lake 的操作，数据存储到minio s3 中，然后使用dremio 强大的能阅读全文

posted @ 2021-11-14 21:05 荣锋亮阅读(894) 评论(0) 推荐(0)

apache kyuubi 参考架构集成

摘要： apache kyuubi 是网易开源支持多租户大规模的thrift jdbc/odbc 平台（当前主要基于spark，当然也会支持其他引擎）使用apache kyuubi 的好处是支持开了多租户，同时利用apache kyuubi 我们可以方便的进行数据分析开发，以及进行数据湖应用开发（可以方便的阅读全文

posted @ 2021-11-14 12:39 荣锋亮阅读(571) 评论(0) 推荐(0)

fastdfs 集群异常修复实践

摘要：实际上可能会有更好的技术方案，只是从目前系统玩法来法，以下是一个不错的对于业务系统影响最小的方法原有参考架构设计简单说明：很简单，nginx +fastdfs module+ fastdfs 集群的玩法，文件基于sdk 进行上传，主要的场景是图片服务（当然其他模式也是支持的）故障问题因为一台阅读全文

posted @ 2021-11-13 15:06 荣锋亮阅读(361) 评论(0) 推荐(0)

使用arthas 分析一个系统登录慢的问题

摘要：场景很简单，就是一个业务系统集成了sso api 参考模式如下问题描述正常接口登录比较快，基本1s 处理完成，但是如果用户不在外部sso api 系统存在的时候登录居然需要10多秒，因为外部sso 接口使用的比较多理论上是有稳定性保障的（主要是测试了存在的时候都很快。。。。）解决开始以为是阅读全文

posted @ 2021-11-12 22:55 荣锋亮阅读(423) 评论(0) 推荐(1)

Faster Change Data Capture for your Data Lake

摘要：转自:https://servian.dev/faster-change-data-capture-for-your-data-lake-6ad9d743074c 很不错的一篇文章 The intent of this article is to discuss and present a new, 阅读全文

posted @ 2021-11-11 00:15 荣锋亮阅读(91) 评论(0) 推荐(0)

使用jHiccup 分析java 应用性能

摘要： jHiccup 是一个很不错的java 性能分析工具，是一个值得尝试的工具，可以集成到系统中，后续会写一些使用方法参考机制参考资料 https://docs.azul.com/prime/jHiccuphttps://github.com/giltene/jHiccuphttps://www.az 阅读全文

posted @ 2021-11-11 00:00 荣锋亮阅读(165) 评论(0) 推荐(0)

cube.js graphql 支持

摘要：当然次特性是一个社区pr参考连接https://github.com/cube-js/cube.js/pull/3555是一个值得学习的，里边的沟通也可以看到具体的设计模式参考资料 https://github.com/cube-js/cube.js/pull/3555 阅读全文

posted @ 2021-11-09 22:54 荣锋亮阅读(104) 评论(0) 推荐(0)

使用jproflier 分析dremio

摘要：主要是测试，jprofiler 是收费的软件（可以自己购买），测试环境基于docker 运行 dockerfile FROM dremio/dremio-oss:19.0 USER root COPY dremio-env /opt/dremio/conf/dremio-env COPY jprof 阅读全文

posted @ 2021-11-06 20:07 荣锋亮阅读(150) 评论(0) 推荐(0)

一次因为arthas 引起jvm crash 问题记录

摘要：问题现在一个应用响应比较慢，比较喜欢arthas ，所以直接的选择就是运行arthas ，而且也帮助找到了系统的问题所在（tomcat 线程block造成服务异常），但是其奇特的问题就是过了一段时间服务突然直接就死了。。。。如果服务是被人操作的肯定会有信息的，但是tomcat 日志是没有看到的，原阅读全文

posted @ 2021-11-06 00:01 荣锋亮阅读(359) 评论(0) 推荐(0)

MangoDB 暴露pg 数据库为mongodb 的proxy

摘要： MangoDB 的目的是替换mongodb ，技术上MangoDB 是一个mongo 协议的proxy，后端使用了pg 说明最近才开源，目前功能还比较小，但是是一个不错的模式，技术实现上基于golang，可以学习下参考资料 https://getmango.jimdofree.com/try-m 阅读全文

posted @ 2021-11-03 00:01 荣锋亮阅读(223) 评论(0) 推荐(0)

导航

公告