上一页 1 ··· 29 30 31 32 33 34 35 36 37 ··· 133 下一页

2023年3月27日

mountpoint-s3 linux 构建一些问题

摘要: 依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮 阅读(73) 评论(0) 推荐(0)

mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端

摘要: mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端 特性 当前主要是处理读场景,暂时不支持写入场景,还在规划中 兼容性,主要是aws的s3 服务,应该是可以和其他s3 存储服务兼容 当前不会进行cache 对象数据以及元数据 构建 参考命令 git clon 阅读全文

posted @ 2023-03-27 10:34 荣锋亮 阅读(346) 评论(0) 推荐(0)

2023年3月26日

hilla 2.0 发布

摘要: hilla 2.0 发布了,支持了不少新特性,基于了spring boot 3 以及Java 17 ,同时提提升了typescript 的生成,支持了graalvm 生成native 镜像,以及新的sso 工具集,方便快速开发sso 应用 参考资料 https://github.com/vaadin 阅读全文

posted @ 2023-03-26 21:59 荣锋亮 阅读(31) 评论(0) 推荐(0)

2023年3月25日

languageservices github action  语言服务

摘要: languageservices 是github 团队开源的github action 语言服务,可以实现类似vs code 自动提示的能力,这样可以提高github action的开发速度,代码部分还是值得学习参考的 参考资料 https://github.com/actions/language 阅读全文

posted @ 2023-03-25 21:00 荣锋亮 阅读(28) 评论(0) 推荐(0)

2023年3月24日

dremio 阿里云oss 集成简单说明

摘要: 默认dremio 支持了azure,aws,gcs 等存储的访问,但是对于oss 是缺少支持的,实际上都是类似的对象存储 可选模式 直接使用aws s3 模式链接 通过测试是可以的,但是需要进行一些配置,参考如下 通过minio s3 gateway 很简单,但是注意minio 版本(新版本已经移除 阅读全文

posted @ 2023-03-24 14:20 荣锋亮 阅读(186) 评论(0) 推荐(0)

dremio 汉化的一些问题

摘要: dremio dac 模块包含了后端以及ui 部分,对于简单的汉化可以直接通过修改dac 中ui 模块的locales/en.json 参考修改 运行 修改之后需要重新构建打包 构建命令 mvn clean install -DskipTests 运行 可以直接将官方包的文件进行替换 目录为jars 阅读全文

posted @ 2023-03-24 12:50 荣锋亮 阅读(61) 评论(0) 推荐(0)

2023年3月22日

wails 基于golang 的跨平台开发解决方案

摘要: wails 是可以使用golang 进行跨平台开发的框架 参考使用 依赖 需要go 18+,node 15+ 安装 go install github.com/wailsapp/wails/v2/cmd/wails@latest 创建项目 wails init -n myproject -t van 阅读全文

posted @ 2023-03-22 19:44 荣锋亮 阅读(1266) 评论(3) 推荐(0)

dragonflydb 1.0 发布了

摘要: 就在昨天dragonflydb发布1.0 了,同时也标志着可以生产可用了,同时也支持了master replication 能力 说明 dragonflydb发展很快,目前来说还是缺少对于ha 模式的支持,类似的keydb 就比较方便,其他 dragonflydb 对于sentinel 模式以及集群 阅读全文

posted @ 2023-03-22 11:35 荣锋亮 阅读(486) 评论(0) 推荐(0)

jenkins jvm内存调整以及一些说明

摘要: jenkins 调整jvm 内存有几个配置地方,比如通过/etc/sysconfig/jenkins 以及通过直接修改systemd 的服务定义(以centos 来说) systemd 配置 /usr/lib/systemd/system/jenkins.service 文件 参考修改 Enviro 阅读全文

posted @ 2023-03-22 10:40 荣锋亮 阅读(2856) 评论(0) 推荐(0)

2023年3月21日

ytsaurus yandex 开源的大数据平台

摘要: ytsaurus yandex 开源的 大数据平台 支持的特性 对租户,包含看了mapreduce,sql 查询引擎,job 调度,面向oltp 的key value 存储 可靠以及稳定,无单点故障,自动复制,更新不丢失数据 可扩展,支持百万级别的cpu 以及千级别的GPU,支持EB 级别的HDD, 阅读全文

posted @ 2023-03-21 20:01 荣锋亮 阅读(313) 评论(0) 推荐(0)

citus 11.2 更好的支持patroni 集群部署

摘要: citus 11.2 可以更好的支持基于patroni 的集群环境部署了,同时patroni 官方也提供了相关的文档专门介绍如何进行citus ha 的部署 我以前有简单说明过基于patroni+ citus 11 进行实际部署,目前官方提供了类似的能力,可以省去我们不少时间 部署一些简单说明 参考 阅读全文

posted @ 2023-03-21 18:17 荣锋亮 阅读(345) 评论(0) 推荐(0)

jenkins 配置注意空格问题

摘要: 最近在处理一个jenkins 构建问题碰到了一个空格问题,记录下 问题 昨天还可以一直使用的jenkins remote shell 执行,突然不能使用,日志日志unkonw host,同一批机器只有两台有问题,其他没有问题然后通过ssh 登录测试发现ssh 以及主机都是正常的,通过jenkins 阅读全文

posted @ 2023-03-21 08:13 荣锋亮 阅读(116) 评论(0) 推荐(0)

2023年3月20日

keydb+socket.io 进行实时应用开发

摘要: socket.io 是一个很不错的实时应用开发框架,基于socket.io 开发的实时系统不少,而且socket.io 也支持不少语言框架的集成 参考图 玩法说明 通过keydb 的active-Replica 能力,可以实现一个快速的ha 能力,同时对于业务为了方便业务集成,添加了haproxy 阅读全文

posted @ 2023-03-20 19:57 荣锋亮 阅读(83) 评论(0) 推荐(0)

开发一个浏览器插件的一些技巧

摘要: 此模式的浏览器插件,并不是chrome 以及firefox 模式的插件,而且可以独立运行,同时包含gui 的浏览器插件(与ie 早期的activex 插件类似) 开发说明一些细节 开启一个windows protocol 可以windows protocol 的目的是提供开启插件gui 的能力,当然 阅读全文

posted @ 2023-03-20 12:12 荣锋亮 阅读(455) 评论(0) 推荐(0)

2023年3月19日

使用keydb 简化redis openresty 集成

摘要: openresty 支持redis 的链接管理以及api 集成能力是一个很不错的功能,基于keydb 的多活模式可以简化redis 的维护 同时结合haproxy 可以解决负载的问题 参考玩法 简单说明: keydb 基于Active-Replication 模式,可以同时读写,对于openrest 阅读全文

posted @ 2023-03-19 21:21 荣锋亮 阅读(113) 评论(0) 推荐(0)

2023年3月18日

nchan 集成keydb简单测试&一些说明

摘要: 因为keydb 是完整兼容redis的,所以对于单机版本的兼容是很简单的,配置就行了 参考单机运行 docker-compose 文件 version: '3' services: db3: image: eqalpha/keydb command: keydb-server /etc/keydb/ 阅读全文

posted @ 2023-03-18 21:55 荣锋亮 阅读(217) 评论(0) 推荐(0)

2023年3月17日

PebbleTemplates 模版解析处理简单说明

摘要: 以下是一个简单的说明如何集成起来的,详细的可以阅读完整源码 调用 在getPebbleTemplate 部分,参考处理 private PebbleTemplate getPebbleTemplate(String templateName, Loader loader, Object cacheK 阅读全文

posted @ 2023-03-17 12:11 荣锋亮 阅读(107) 评论(0) 推荐(0)

PebbleTemplates 默认一些安全处理

摘要: PebbleTemplates 支持了不少安全控制(这个是也模版引擎普遍存在的问题) 内容转义 核心是规避xss 问题,包含了自定以及手工处理,包含了html,js,css,url_param 。。。。 方法访问的 因为模版很容易引入一些非安全方法引用,官方包含了一个方法访问校验 MethodAcc 阅读全文

posted @ 2023-03-17 12:10 荣锋亮 阅读(51) 评论(0) 推荐(0)

PebbleTemplates 一种集成玩法

摘要: PebbleTemplates 具有比较灵活的扩展性,扩展下可以做一些比较有意思的玩法 参考图 简单说明 模版官方部分基于了s3 进行存储,我们可以通过ci/cd 工具,或者利用git api 进行管理将模版存储到s3中,当然也可以自己开发相关的console api (利用s3 api)进行管理对 阅读全文

posted @ 2023-03-17 12:09 荣锋亮 阅读(57) 评论(0) 推荐(0)

2023年3月16日

PebbleTemplates 自定义tag&filter&function 开发简单说明

摘要: PebbleTemplates 的扩展能力还是很强大的,开发起来也比较方便,以下是一个简单的说明,更加复杂的推荐查看官方源码学习 filter 开发 参考代码 此filter 直接返回rongfengliang public class LoginFilter implements Filter { 阅读全文

posted @ 2023-03-16 20:14 荣锋亮 阅读(60) 评论(0) 推荐(0)

PebbleTemplates 模版引擎使用

摘要: PebbleTemplates 是一个类似jinja 的java 模版引擎(受twig启发)支持的能力还是很多的,而且扩展性很不错,比如模版资源加载,模版缓存 自定义扩展。。。。,是一个值得使用的模版引擎 一个s3 loader 参考代码 基于了minio client 通过配置指定 public 阅读全文

posted @ 2023-03-16 13:06 荣锋亮 阅读(256) 评论(0) 推荐(0)

2023年3月14日

sbom +dependencytrack 进行软件组件安全性分析

摘要: 随着安全越来越重要,日常中我们对于自己开发的软件进行安全扫描同时作为一个常规化的任务是比较重要的,对于依赖组件基于sbom+ dependencytrack 是一个很不错的选择,而且成本比较低,管理上比较强大,我们需要做的就是基于ci 工具,或者通过cli 生成sbom,然后基于dependency 阅读全文

posted @ 2023-03-14 19:58 荣锋亮 阅读(734) 评论(2) 推荐(0)

2023年3月12日

fdb-record-layer 基于foundationdb 的record存储

摘要: fdb-record-layer 是在foundationdb上包装的一层工具层,可以简化日常的开发 包含的特性 结构化类型,基于了protobuf index 索引支持 复杂类型支持 list,嵌套record 查询,提供了查询api 可以方便使用 基于多record 存储共享schema 非常轻 阅读全文

posted @ 2023-03-12 23:08 荣锋亮 阅读(74) 评论(0) 推荐(0)

tigris 基于foundationdb 开发的数据平台

摘要: tigris 是基于foundationdb 开发的数据平台,基于golang 开发,官方的介绍是mongo atlas 的可选替换工具 参考架构 参考资料 https://github.com/tigrisdata/tigrishttps://www.tigrisdata.com/blog/bui 阅读全文

posted @ 2023-03-12 22:40 荣锋亮 阅读(69) 评论(0) 推荐(0)

keydb redis 兼容协议服务

摘要: keydb 是完全兼容redis 协议的服务,同时支持了不少其他特性,比如多主,多复制,对于我们的集群环境部署简化了不少而且还有一个不错的优势是性能(利用了多线程提供了不错的性能)官方也有明确的比较说明 说明 目前dragonfly 是另外一个热度比较高的redis 兼容协议,但是不像keydb 基 阅读全文

posted @ 2023-03-12 20:01 荣锋亮 阅读(135) 评论(0) 推荐(0)

2023年3月7日

snowflake 元数据存储一些参考资料

摘要: 今天在写完关于使用一个开源kv 系统替换dremio 的kv 服务的之后,搜了下发现snowflake 的元数据系统就是基于foundationdb的,同时官方也有不少介绍可以参考学习 参考资料 https://medium.com/snowflake/part-2-migrating-snowfl 阅读全文

posted @ 2023-03-07 22:58 荣锋亮 阅读(143) 评论(0) 推荐(0)

dremio 替换kv 服务的一些思路

摘要: 我以前简单介绍过dremio 内部协调服务(基于了zk)以及数据存储的说明(实际上是基于了kv存储rocksdb)同时dremio 入口会创建DACDaemonModule (此类可以通过配置修改),如果需要修改修改就可以从此处下手,以下只是一个简单的说明,后续等有时间了实现下 当前方案 可以看出对 阅读全文

posted @ 2023-03-07 19:08 荣锋亮 阅读(63) 评论(0) 推荐(0)

2023年3月5日

napi 简单使用

摘要: 内容来自官方文档,主要是体验下napi 的使用 安装cli npm install -g @napi-rs/cli 创建 按照提示操作,比如我的package名称为@dalongrong/napi-demo napi new 构建 cd <dir name> yarn build 使用 添加link 阅读全文

posted @ 2023-03-05 20:32 荣锋亮 阅读(159) 评论(0) 推荐(0)

napi 基于rust 开发nodejs addons 的框架

摘要: 目前基于rust 开发nodejs addons 的框架是很多了,而且都不错,同时对于安装会基于跨平台构建+github release 模式进行安装(对于企业内部不是很友好)napi 是一个新的基于rust 的开发框架,同时官方也与neon进行了对比介绍,而且从目前来说napi社区相比neon 更 阅读全文

posted @ 2023-03-05 19:54 荣锋亮 阅读(184) 评论(0) 推荐(0)

2023年3月2日

cube.js dremio-odbc-cubejs-driver TypeError: Do not know how to serialize a BigInt 问题

摘要: 因为cube.js cache 部分使用了json 进行key 的存储,但是因为odbc 部分数据类型会有bigint,cube.js 会报错 解决方法 通过hack 的模式 const CubejsServer = require('@cubejs-backend/server'); const 阅读全文

posted @ 2023-03-02 19:47 荣锋亮 阅读(382) 评论(0) 推荐(0)

基于odbc 开发一个高性能的dremio cube.js driver

摘要: 我以前简单写过,基于odbc 的cube.js driver 开发简单说明,一直没有实现, 最近研究下了,发现实现起来还是很简单的 所以就写了一个,方便使用,对比下来性能提升是很大的 参考开发 核心是基于odbc 对于query以及testConnection 的实现,部分借鉴了http 协议的实现 阅读全文

posted @ 2023-03-02 19:37 荣锋亮 阅读(75) 评论(0) 推荐(0)

iframe sandbox 造成附件下载问题解决

摘要: 问题场景,iframe 通过src 加载三方website,同时三方website 调用api 生成 web 页面,页面中会包含click 链接(打开新页面)之后会包含文件下载 参考图如下 问题 对于通过api 生成的web page ,click 打开是另外一个web page (那怕是新打开浏览 阅读全文

posted @ 2023-03-02 08:40 荣锋亮 阅读(344) 评论(0) 推荐(0)

2023年3月1日

haproxy 2.x 请求头安全问题

摘要: 就在最近haproxy 官方发布了一个通知关于安全漏洞的,包含了2.0 以及最新版本的,对于使用了2.x 版本的用户最好升级下 临时解决方案 frontend myfrontend http-request deny if { fc_http_major 1 } !{ req.body_size 0 阅读全文

posted @ 2023-03-01 21:01 荣锋亮 阅读(39) 评论(0) 推荐(0)

cube.js 自定义驱动 static dialectClass 方法说明

摘要: 实际上官方文档有过描述关于此方法的作用,可以进行自动query 方言的转换处理,同时官方不少插件也使用了此功能 以下做一个简单的说明 作用 主要是对于dbtype 可以方便的找到数据库查询方言 参考开发 export class OceanBaseDriver extends BaseDriver 阅读全文

posted @ 2023-03-01 00:00 荣锋亮 阅读(43) 评论(0) 推荐(0)

2023年2月28日

npm unpublish一个注意项

摘要: 主要是自己发布了一个npm包,但是发现对应版本有些问题,想删除重新publish,但是提示了必须24小时之后才能重试在看了官方文档之后发现如果unpublish 了完整的包就只能等24小时之后了,应该是为了安全考虑吧,所以发布npm还是多注意些 参考资料 https://docs.npmjs.com 阅读全文

posted @ 2023-02-28 23:52 荣锋亮 阅读(147) 评论(0) 推荐(0)

2023年2月26日

cube.js 官方提供的driver 开发包

摘要: cube.js 从0.30.69 开始提供了独立的driver 开发包,可以简化driver 的开发 目前提供的driver 定义 标准driver (数据访问)基本上driver 都是实现基础driver 接口的 cache driver 缓存处理的 比如cube store driver que 阅读全文

posted @ 2023-02-26 22:56 荣锋亮 阅读(70) 评论(0) 推荐(0)

开发一个 cube.js oceanbase driver

摘要: cube.js 去年提供了一个独立的包,方便driver 的开发,尽管oceanbase 是mysql 兼容的,但是在使用一个链接池工具的时候有些问题 所以独立包装了一个oceanbase 的driver 开发说明 基于了官方的mysql driver 对于链接池部分进行了调整,同时进行了重新命名, 阅读全文

posted @ 2023-02-26 22:40 荣锋亮 阅读(82) 评论(0) 推荐(0)

2023年2月24日

dremio S3StoragePlugin 简单说明

摘要: S3StoragePlugin 核心是进行s3 的数据处理,从能力上来说主要是一个文件系统的存储插件,以前我简单介绍过关于存储扩展 的开发,一般需要包含一个存储插件配置类以及存储插件的实现(会有基于文件系统的s3,nas。。。。,基于底层基础类的jdbc 存储插件) 配置类 主要是S3PluginC 阅读全文

posted @ 2023-02-24 12:05 荣锋亮 阅读(55) 评论(0) 推荐(0)

2023年2月23日

基于tmpfs 的nginx cache 优化

摘要: 昨天简单说明了下基于tmpfs 的nginx proxy_cache 优化,今天整体说明下 参考图 流程说明 修改之前的 对于nginx 使用了多级处理,ingress (也是基于nignx,openresty),对于服务的ib 也是就有nginx (openresty),同时lb 也包含一部分静态 阅读全文

posted @ 2023-02-23 21:46 荣锋亮 阅读(82) 评论(0) 推荐(0)

2023年2月22日

使用tmpfs 进行nginx proxy_cache 加速

摘要: 实际碰到的一个问题,使用的虚拟机,发现压测效果不是很好,静态资源请求有时都会存在问题(超时,加载比较慢) 但是因为实际没有太好的虚拟机存储可以挂载,同时请求的静态资源比较多(图片,css,js,小文件),tmpfs 是一个 基于内存的文件系统,可以很好的支持文件操作,同时可以提高nginx cach 阅读全文

posted @ 2023-02-22 23:40 荣锋亮 阅读(73) 评论(0) 推荐(0)

上一页 1 ··· 29 30 31 32 33 34 35 36 37 ··· 133 下一页

导航