荣锋亮 - 博客园

mountpoint-s3 linux 构建一些问题

摘要：依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮阅读(73) 评论(0) 推荐(0)

mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端

摘要： mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端特性当前主要是处理读场景，暂时不支持写入场景，还在规划中兼容性，主要是aws的s3 服务，应该是可以和其他s3 存储服务兼容当前不会进行cache 对象数据以及元数据构建参考命令 git clon 阅读全文

posted @ 2023-03-27 10:34 荣锋亮阅读(346) 评论(0) 推荐(0)

hilla 2.0 发布

摘要： hilla 2.0 发布了，支持了不少新特性，基于了spring boot 3 以及Java 17 ，同时提提升了typescript 的生成，支持了graalvm 生成native 镜像，以及新的sso 工具集，方便快速开发sso 应用参考资料 https://github.com/vaadin 阅读全文

posted @ 2023-03-26 21:59 荣锋亮阅读(31) 评论(0) 推荐(0)

languageservices github action 语言服务

摘要： languageservices 是github 团队开源的github action 语言服务，可以实现类似vs code 自动提示的能力，这样可以提高github action的开发速度，代码部分还是值得学习参考的参考资料 https://github.com/actions/language 阅读全文

posted @ 2023-03-25 21:00 荣锋亮阅读(28) 评论(0) 推荐(0)

dremio 阿里云oss 集成简单说明

摘要：默认dremio 支持了azure，aws，gcs 等存储的访问，但是对于oss 是缺少支持的，实际上都是类似的对象存储可选模式直接使用aws s3 模式链接通过测试是可以的，但是需要进行一些配置，参考如下通过minio s3 gateway 很简单，但是注意minio 版本（新版本已经移除阅读全文

posted @ 2023-03-24 14:20 荣锋亮阅读(186) 评论(0) 推荐(0)

dremio 汉化的一些问题

摘要： dremio dac 模块包含了后端以及ui 部分，对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改运行修改之后需要重新构建打包构建命令 mvn clean install -DskipTests 运行可以直接将官方包的文件进行替换目录为jars 阅读全文

posted @ 2023-03-24 12:50 荣锋亮阅读(61) 评论(0) 推荐(0)

wails 基于golang 的跨平台开发解决方案

摘要： wails 是可以使用golang 进行跨平台开发的框架参考使用依赖需要go 18+，node 15+ 安装 go install github.com/wailsapp/wails/v2/cmd/wails@latest 创建项目 wails init -n myproject -t van 阅读全文

posted @ 2023-03-22 19:44 荣锋亮阅读(1266) 评论(3) 推荐(0)

dragonflydb 1.0 发布了

摘要：就在昨天dragonflydb发布1.0 了，同时也标志着可以生产可用了，同时也支持了master replication 能力说明 dragonflydb发展很快，目前来说还是缺少对于ha 模式的支持，类似的keydb 就比较方便，其他 dragonflydb 对于sentinel 模式以及集群阅读全文

posted @ 2023-03-22 11:35 荣锋亮阅读(486) 评论(0) 推荐(0)

jenkins jvm内存调整以及一些说明

摘要： jenkins 调整jvm 内存有几个配置地方，比如通过/etc/sysconfig/jenkins 以及通过直接修改systemd 的服务定义（以centos 来说） systemd 配置 /usr/lib/systemd/system/jenkins.service 文件参考修改 Enviro 阅读全文

posted @ 2023-03-22 10:40 荣锋亮阅读(2856) 评论(0) 推荐(0)

ytsaurus yandex 开源的大数据平台

摘要： ytsaurus yandex 开源的大数据平台支持的特性对租户，包含看了mapreduce，sql 查询引擎，job 调度，面向oltp 的key value 存储可靠以及稳定，无单点故障，自动复制，更新不丢失数据可扩展，支持百万级别的cpu 以及千级别的GPU，支持EB 级别的HDD，阅读全文

posted @ 2023-03-21 20:01 荣锋亮阅读(313) 评论(0) 推荐(0)

citus 11.2 更好的支持patroni 集群部署

摘要： citus 11.2 可以更好的支持基于patroni 的集群环境部署了，同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署我以前有简单说明过基于patroni+ citus 11 进行实际部署，目前官方提供了类似的能力，可以省去我们不少时间部署一些简单说明参考阅读全文

posted @ 2023-03-21 18:17 荣锋亮阅读(345) 评论(0) 推荐(0)

jenkins 配置注意空格问题

摘要：最近在处理一个jenkins 构建问题碰到了一个空格问题，记录下问题昨天还可以一直使用的jenkins remote shell 执行，突然不能使用，日志日志unkonw host，同一批机器只有两台有问题，其他没有问题然后通过ssh 登录测试发现ssh 以及主机都是正常的，通过jenkins 阅读全文

posted @ 2023-03-21 08:13 荣锋亮阅读(116) 评论(0) 推荐(0)

keydb+socket.io 进行实时应用开发

摘要： socket.io 是一个很不错的实时应用开发框架，基于socket.io 开发的实时系统不少，而且socket.io 也支持不少语言框架的集成参考图玩法说明通过keydb 的active-Replica 能力，可以实现一个快速的ha 能力，同时对于业务为了方便业务集成，添加了haproxy 阅读全文

posted @ 2023-03-20 19:57 荣锋亮阅读(83) 评论(0) 推荐(0)

开发一个浏览器插件的一些技巧

摘要：此模式的浏览器插件，并不是chrome 以及firefox 模式的插件，而且可以独立运行，同时包含gui 的浏览器插件（与ie 早期的activex 插件类似）开发说明一些细节开启一个windows protocol 可以windows protocol 的目的是提供开启插件gui 的能力，当然阅读全文

posted @ 2023-03-20 12:12 荣锋亮阅读(455) 评论(0) 推荐(0)

使用keydb 简化redis openresty 集成

摘要： openresty 支持redis 的链接管理以及api 集成能力是一个很不错的功能，基于keydb 的多活模式可以简化redis 的维护同时结合haproxy 可以解决负载的问题参考玩法简单说明： keydb 基于Active-Replication 模式，可以同时读写，对于openrest 阅读全文

posted @ 2023-03-19 21:21 荣锋亮阅读(113) 评论(0) 推荐(0)

nchan 集成keydb简单测试&一些说明

摘要：因为keydb 是完整兼容redis的，所以对于单机版本的兼容是很简单的，配置就行了参考单机运行 docker-compose 文件 version: '3' services: db3: image: eqalpha/keydb command: keydb-server /etc/keydb/ 阅读全文

posted @ 2023-03-18 21:55 荣锋亮阅读(217) 评论(0) 推荐(0)

PebbleTemplates 模版解析处理简单说明

摘要：以下是一个简单的说明如何集成起来的，详细的可以阅读完整源码调用在getPebbleTemplate 部分,参考处理 private PebbleTemplate getPebbleTemplate(String templateName, Loader loader, Object cacheK 阅读全文

posted @ 2023-03-17 12:11 荣锋亮阅读(107) 评论(0) 推荐(0)

PebbleTemplates 默认一些安全处理

摘要： PebbleTemplates 支持了不少安全控制（这个是也模版引擎普遍存在的问题）内容转义核心是规避xss 问题，包含了自定以及手工处理，包含了html,js,css,url_param 。。。。方法访问的因为模版很容易引入一些非安全方法引用，官方包含了一个方法访问校验 MethodAcc 阅读全文

posted @ 2023-03-17 12:10 荣锋亮阅读(51) 评论(0) 推荐(0)

PebbleTemplates 一种集成玩法

摘要： PebbleTemplates 具有比较灵活的扩展性，扩展下可以做一些比较有意思的玩法参考图简单说明模版官方部分基于了s3 进行存储，我们可以通过ci/cd 工具，或者利用git api 进行管理将模版存储到s3中，当然也可以自己开发相关的console api （利用s3 api）进行管理对阅读全文

posted @ 2023-03-17 12:09 荣锋亮阅读(57) 评论(0) 推荐(0)

PebbleTemplates 自定义tag&filter&function 开发简单说明

摘要： PebbleTemplates 的扩展能力还是很强大的，开发起来也比较方便，以下是一个简单的说明，更加复杂的推荐查看官方源码学习 filter 开发参考代码此filter 直接返回rongfengliang public class LoginFilter implements Filter { 阅读全文

posted @ 2023-03-16 20:14 荣锋亮阅读(60) 评论(0) 推荐(0)

PebbleTemplates 模版引擎使用

摘要： PebbleTemplates 是一个类似jinja 的java 模版引擎（受twig启发）支持的能力还是很多的，而且扩展性很不错，比如模版资源加载，模版缓存自定义扩展。。。。，是一个值得使用的模版引擎一个s3 loader 参考代码基于了minio client 通过配置指定 public 阅读全文

posted @ 2023-03-16 13:06 荣锋亮阅读(256) 评论(0) 推荐(0)

sbom +dependencytrack 进行软件组件安全性分析

摘要：随着安全越来越重要，日常中我们对于自己开发的软件进行安全扫描同时作为一个常规化的任务是比较重要的，对于依赖组件基于sbom+ dependencytrack 是一个很不错的选择，而且成本比较低，管理上比较强大，我们需要做的就是基于ci 工具，或者通过cli 生成sbom，然后基于dependency 阅读全文

posted @ 2023-03-14 19:58 荣锋亮阅读(734) 评论(2) 推荐(0)

fdb-record-layer 基于foundationdb 的record存储

摘要： fdb-record-layer 是在foundationdb上包装的一层工具层，可以简化日常的开发包含的特性结构化类型，基于了protobuf index 索引支持复杂类型支持 list，嵌套record 查询，提供了查询api 可以方便使用基于多record 存储共享schema 非常轻阅读全文

posted @ 2023-03-12 23:08 荣锋亮阅读(74) 评论(0) 推荐(0)

tigris 基于foundationdb 开发的数据平台

摘要： tigris 是基于foundationdb 开发的数据平台，基于golang 开发，官方的介绍是mongo atlas 的可选替换工具参考架构参考资料 https://github.com/tigrisdata/tigrishttps://www.tigrisdata.com/blog/bui 阅读全文

posted @ 2023-03-12 22:40 荣锋亮阅读(69) 评论(0) 推荐(0)

keydb redis 兼容协议服务

摘要： keydb 是完全兼容redis 协议的服务，同时支持了不少其他特性，比如多主，多复制，对于我们的集群环境部署简化了不少而且还有一个不错的优势是性能（利用了多线程提供了不错的性能）官方也有明确的比较说明说明目前dragonfly 是另外一个热度比较高的redis 兼容协议，但是不像keydb 基阅读全文

posted @ 2023-03-12 20:01 荣锋亮阅读(135) 评论(0) 推荐(0)

snowflake 元数据存储一些参考资料

摘要：今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后，搜了下发现snowflake 的元数据系统就是基于foundationdb的，同时官方也有不少介绍可以参考学习参考资料 https://medium.com/snowflake/part-2-migrating-snowfl 阅读全文

posted @ 2023-03-07 22:58 荣锋亮阅读(143) 评论(0) 推荐(0)

dremio 替换kv 服务的一些思路

摘要：我以前简单介绍过dremio 内部协调服务（基于了zk）以及数据存储的说明（实际上是基于了kv存储rocksdb）同时dremio 入口会创建DACDaemonModule （此类可以通过配置修改），如果需要修改修改就可以从此处下手，以下只是一个简单的说明，后续等有时间了实现下当前方案可以看出对阅读全文

posted @ 2023-03-07 19:08 荣锋亮阅读(63) 评论(0) 推荐(0)

napi 简单使用

摘要：内容来自官方文档，主要是体验下napi 的使用安装cli npm install -g @napi-rs/cli 创建按照提示操作，比如我的package名称为@dalongrong/napi-demo napi new 构建 cd <dir name> yarn build 使用添加link 阅读全文

posted @ 2023-03-05 20:32 荣锋亮阅读(159) 评论(0) 推荐(0)

napi 基于rust 开发nodejs addons 的框架

摘要：目前基于rust 开发nodejs addons 的框架是很多了，而且都不错，同时对于安装会基于跨平台构建+github release 模式进行安装（对于企业内部不是很友好）napi 是一个新的基于rust 的开发框架，同时官方也与neon进行了对比介绍，而且从目前来说napi社区相比neon 更阅读全文

posted @ 2023-03-05 19:54 荣锋亮阅读(184) 评论(0) 推荐(0)

cube.js dremio-odbc-cubejs-driver TypeError: Do not know how to serialize a BigInt 问题

摘要：因为cube.js cache 部分使用了json 进行key 的存储，但是因为odbc 部分数据类型会有bigint，cube.js 会报错解决方法通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文

posted @ 2023-03-02 19:47 荣锋亮阅读(382) 评论(0) 推荐(0)

基于odbc 开发一个高性能的dremio cube.js driver

摘要：我以前简单写过，基于odbc 的cube.js driver 开发简单说明，一直没有实现，最近研究下了，发现实现起来还是很简单的所以就写了一个，方便使用，对比下来性能提升是很大的参考开发核心是基于odbc 对于query以及testConnection 的实现，部分借鉴了http 协议的实现阅读全文

posted @ 2023-03-02 19:37 荣锋亮阅读(75) 评论(0) 推荐(0)

iframe sandbox 造成附件下载问题解决

摘要：问题场景，iframe 通过src 加载三方website，同时三方website 调用api 生成 web 页面，页面中会包含click 链接（打开新页面）之后会包含文件下载参考图如下问题对于通过api 生成的web page ，click 打开是另外一个web page （那怕是新打开浏览阅读全文

posted @ 2023-03-02 08:40 荣锋亮阅读(344) 评论(0) 推荐(0)

haproxy 2.x 请求头安全问题

摘要：就在最近haproxy 官方发布了一个通知关于安全漏洞的，包含了2.0 以及最新版本的，对于使用了2.x 版本的用户最好升级下临时解决方案 frontend myfrontend http-request deny if { fc_http_major 1 } !{ req.body_size 0 阅读全文

posted @ 2023-03-01 21:01 荣锋亮阅读(39) 评论(0) 推荐(0)

cube.js 自定义驱动 static dialectClass 方法说明

摘要：实际上官方文档有过描述关于此方法的作用，可以进行自动query 方言的转换处理，同时官方不少插件也使用了此功能以下做一个简单的说明作用主要是对于dbtype 可以方便的找到数据库查询方言参考开发 export class OceanBaseDriver extends BaseDriver 阅读全文

posted @ 2023-03-01 00:00 荣锋亮阅读(43) 评论(0) 推荐(0)

npm unpublish一个注意项

摘要：主要是自己发布了一个npm包，但是发现对应版本有些问题，想删除重新publish，但是提示了必须24小时之后才能重试在看了官方文档之后发现如果unpublish 了完整的包就只能等24小时之后了，应该是为了安全考虑吧，所以发布npm还是多注意些参考资料 https://docs.npmjs.com 阅读全文

posted @ 2023-02-28 23:52 荣锋亮阅读(147) 评论(0) 推荐(0)

cube.js 官方提供的driver 开发包

摘要： cube.js 从0.30.69 开始提供了独立的driver 开发包，可以简化driver 的开发目前提供的driver 定义标准driver （数据访问）基本上driver 都是实现基础driver 接口的 cache driver 缓存处理的比如cube store driver que 阅读全文

posted @ 2023-02-26 22:56 荣锋亮阅读(70) 评论(0) 推荐(0)

开发一个 cube.js oceanbase driver

摘要： cube.js 去年提供了一个独立的包，方便driver 的开发，尽管oceanbase 是mysql 兼容的，但是在使用一个链接池工具的时候有些问题所以独立包装了一个oceanbase 的driver 开发说明基于了官方的mysql driver 对于链接池部分进行了调整，同时进行了重新命名，阅读全文

posted @ 2023-02-26 22:40 荣锋亮阅读(82) 评论(0) 推荐(0)

dremio S3StoragePlugin 简单说明

摘要： S3StoragePlugin 核心是进行s3 的数据处理，从能力上来说主要是一个文件系统的存储插件，以前我简单介绍过关于存储扩展的开发，一般需要包含一个存储插件配置类以及存储插件的实现（会有基于文件系统的s3，nas。。。。，基于底层基础类的jdbc 存储插件）配置类主要是S3PluginC 阅读全文

posted @ 2023-02-24 12:05 荣锋亮阅读(55) 评论(0) 推荐(0)

基于tmpfs 的nginx cache 优化

摘要：昨天简单说明了下基于tmpfs 的nginx proxy_cache 优化，今天整体说明下参考图流程说明修改之前的对于nginx 使用了多级处理，ingress （也是基于nignx，openresty），对于服务的ib 也是就有nginx （openresty），同时lb 也包含一部分静态阅读全文

posted @ 2023-02-23 21:46 荣锋亮阅读(82) 评论(0) 推荐(0)

使用tmpfs 进行nginx proxy_cache 加速

摘要：实际碰到的一个问题，使用的虚拟机，发现压测效果不是很好，静态资源请求有时都会存在问题（超时，加载比较慢）但是因为实际没有太好的虚拟机存储可以挂载，同时请求的静态资源比较多（图片，css，js，小文件），tmpfs 是一个基于内存的文件系统，可以很好的支持文件操作，同时可以提高nginx cach 阅读全文

posted @ 2023-02-22 23:40 荣锋亮阅读(73) 评论(0) 推荐(0)

导航

公告