荣锋亮 - 博客园

opendistro elasticsearch cube.js driver 开发说明

摘要： driver 的开发参考了官方elasticsearch 驱动，但是因为默认sql plugin 对于sql 函数支持的问题，部分功能是不支持的（时间函数是一个问题）参考代码代码结构 driver 开发说明参考了官方的，同时集成了方言 static dialectClass() { retur 阅读全文

posted @ 2021-03-31 23:39 荣锋亮阅读(274) 评论(0) 推荐(0)

flatbuffers 代码集成

摘要：参考上次的操作，因为默认的不是nodejs 模块友好的，使用了typescript 同时集成了代码 schema union HttpCommand { HttpQuery, HttpResultSet, HttpError } table HttpMessage { message_id: uin 阅读全文

posted @ 2021-03-28 23:06 荣锋亮阅读(238) 评论(0) 推荐(0)

flatbuffers 试用

摘要：安装cli 编译器 brew install flatbuffers cli 命令 flatc: error: unknown commandline argument: --help Usage: flatc [OPTION]... FILE... [-- FILE...] --binary -b 阅读全文

posted @ 2021-03-28 19:38 荣锋亮阅读(567) 评论(0) 推荐(0)

flatbuffers 谷歌开源的内存高效的序列化库

摘要： flatbuffers 支持的特性可以直接访问数据而不用进行解析以及拆包内存高效灵活较小的代码生成强类型方便使用跨平台与protoco buffers 的比较主要区别在于FlatBuffers不需要解析/解包步骤即可访问数据，而通常需要结合每个对象的内存分配，然后才能访问数据。该代阅读全文

posted @ 2021-03-28 18:47 荣锋亮阅读(295) 评论(0) 推荐(0)

filodb 分布式prometheus 时序数据库

摘要： filodb 是基于内存的，prometheus 兼容，多schema支持的时序以及事件操作db 适合的场景事实metrics 存储查询，dashboard 可视化分布式追踪低延时即时应用metrics debug 不适合的场景事物操作频繁&&面向更新的流程 olap 分析参考资料 htt 阅读全文

posted @ 2021-03-27 18:24 荣锋亮阅读(205) 评论(0) 推荐(0)

cube.js 一些预聚合分区新特性

摘要：主要介绍cube.js 支持的一些rollup 分区特性基于时间的 time 分区参考 cube(`Orders`, { sql: `select * from orders`, //... preAggregations: { categoryAndDate: { type: `rollup` 阅读全文

posted @ 2021-03-27 00:04 荣锋亮阅读(135) 评论(0) 推荐(0)

使用外部db 加速dremio 查询

摘要：官方默认的实现是基于rest api 的，尽管可以开启数据反射提升查询速度，但是因为基于http连接有开销性能一般可选的解决方法 etl dremio -> db 实现一个加速问题也很明显，失去了使用dremio 的价值了基于cube.js 预聚合处理（使用外部预聚合）基于外部预聚合的解决方阅读全文

posted @ 2021-03-26 23:30 荣锋亮阅读(259) 评论(0) 推荐(0)

开发一个cube.js cratedb driver

摘要：核心还是参考了官方的说明以及pg，因为cratedb driver 核心就是一个关于时间处理的核心代码删除以下 // await client.query(`SET TIME ZONE '${this.config.storeTimezone || 'UTC'}'`); 包装处理为了方便，自定阅读全文

posted @ 2021-03-26 23:16 荣锋亮阅读(131) 评论(0) 推荐(0)

dremio 时间操作函数

摘要：时间操作函数在sql中是一个比较常见的功能，官方是有一些介绍，但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档说明部分函数可能drill 包含，但是dremio 没有，这个需要对比下官方文档参考资料 https://drill.apache.org/docs/date 阅读全文

posted @ 2021-03-26 19:34 荣锋亮阅读(345) 评论(0) 推荐(0)

authelia web sso 解决方案

摘要：参考架构参考资料 https://github.com/authelia/autheliahttps://www.authelia.com/ 阅读全文

posted @ 2021-03-26 19:33 荣锋亮阅读(1011) 评论(0) 推荐(0)

dremio sql server 出现无法绑定由多个部分组成的标识符的解决方法

摘要：比如怪异的一个问题，通过分析job 的执行情况发现都是正常的，但是经过调整之后发现属于解析的问题解决方法，可以通过在配置sql server 数据源的时候配置database 解决（就是强制指定了数据库）问题现象参考界面阅读全文

posted @ 2021-03-26 19:32 荣锋亮阅读(556) 评论(0) 推荐(0)

cratedb 4.5 企业特性可以免费使用了

摘要： 4.5 测试版本昨天发布了，好多新特性，企业版本的特性也免费了，可以直接体验下参考docker-compose 运行 version: "3" services: cratedb: image: crate/crate:4.5.0 ports: - 4200:4200 - 5432:5432 参考阅读全文

posted @ 2021-03-26 19:29 荣锋亮阅读(289) 评论(0) 推荐(0)

cube.js 新版本cubestore 禁用

摘要：最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢，而且很多是否我们暂时用不到禁用方法通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/ 阅读全文

posted @ 2021-03-26 19:24 荣锋亮阅读(163) 评论(0) 推荐(0)

spring-native 编译spring 应用为graalvm native 镜像

摘要： spring-native beta 已经可以通过start.spring.io 试用了，基于graalvm native image 运行spring 就很方便了具体可以参考一下链接参考资料 https://github.com/spring-projects-experimental/spri 阅读全文

posted @ 2021-03-14 23:50 荣锋亮阅读(716) 评论(0) 推荐(0)

streamsets tar 模式启动

摘要：参考步骤下载下载需要注册账户,注册就可以了配置基于3.21 解压软件包 tar xf streamsets-datacollector-all-3.21.0.tgz -C /opt/streamsets-datacollector 复制 service cp systemd/sdc.serv 阅读全文

posted @ 2021-03-12 22:58 荣锋亮阅读(285) 评论(0) 推荐(0)

streamset data collector 新注册机制

摘要： streamset data collector 从3.15x开始下载是需要注册的，但是可以无限使用，这个还是很不错（主要还是因为云模式影响的）默认的登陆默认应该很早就有些变动了，默认会使用oauth，但是我们可以配置基于ldap以及file 的，但是还是需要注册码的配置参考 https://st 阅读全文

posted @ 2021-03-09 23:06 荣锋亮阅读(1876) 评论(0) 推荐(0)

pyroscope 参考使用

摘要：基于golang 运行运行server brew install pyroscope-io/brew/pyroscope pyroscope server golang 代码 package main import ( "github.com/gin-gonic/gin" "github.com/ 阅读全文

posted @ 2021-03-04 21:43 荣锋亮阅读(936) 评论(0) 推荐(0)

pyroscope 很不错的基于golang 的火焰图分析工具

摘要：参考部署架构此图同时也是工作原理图说明 pyroscope 的设计还是很不错的，而且页面效果也很不错，是一个基于火焰图分析工具的利器，官方文档提示还会有其他功能的添加参考资料 https://github.com/pyroscope-io/pyroscope 阅读全文

posted @ 2021-03-04 21:30 荣锋亮阅读(664) 评论(0) 推荐(0)

dremio 14 版本发布&&新的官方文档页面

摘要： dremio 14已经发布了，同时也提升了官方文档，对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了（sql server 乱码，mysql 5.3 之前的版本乱码）说明 14 版本的源码暂时还没有开放出来，下载了以前版本解压发现mysql 版本依赖的驱动还是老的（升级新的乱阅读全文

posted @ 2021-03-03 08:04 荣锋亮阅读(254) 评论(0) 推荐(0)

sijms/go-ora 1.0 发布了，使用buffer提升了系统的性能

摘要：基于buffer的改进，提升了系统的查询性能，经过测试还是比较明显的对于需要使用golang 链接oracle 的话，已经是一个很不错的选择了，同时prometheus 的exporter 性能测试，提升也是很大的，可以参考https://github.com/rongfengliang/oracl 阅读全文

posted @ 2021-03-02 20:19 荣锋亮阅读(195) 评论(0) 推荐(0)

开发一个cockroachdb 的cube.js 驱动

摘要： cube.js 官方有描述关于driver 开发的说明，以下是开发一个简单的cockroachdb 驱动驱动开发说明 copy 相关项目，比如mysql 的driver 实现，命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

posted @ 2021-02-27 22:23 荣锋亮阅读(153) 评论(0) 推荐(0)

dremio 配置文件

摘要：因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件文件位置源码的common resources dremio-re 阅读全文

posted @ 2021-02-26 17:29 荣锋亮阅读(369) 评论(0) 推荐(0)

cratedb 将完全开源

摘要：具体可以参考cratedb 官方的一个说明，主要也和es的变更许可也有一些关系如果查看代码，或者relase 信息，也会看到2020 12 开源了企业特性，4.5 的发布会开源所有特性，到时cratedb 将会是一个完整的开源项目参考资料 https://crate.io/a/cratedb-do 阅读全文

posted @ 2021-02-26 17:28 荣锋亮阅读(271) 评论(0) 推荐(0)

jfrog 关闭开放 bintray&&jcenter&&gocenter&&chartcenter 服务

摘要：具体时间表参考链接https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 阅读全文

posted @ 2021-02-24 22:27 荣锋亮阅读(447) 评论(0) 推荐(0)

dremio tar 模式安装

摘要：软件包准备可以从官方文档下载准备主要是关于运行账户，推荐创建一个独立的账户配置主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件，推荐基于软链接的模式参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录推荐配置独立阅读全文

posted @ 2021-02-24 20:37 荣锋亮阅读(263) 评论(0) 推荐(0)

dremio 部署系统要求

摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存执行节点最阅读全文

posted @ 2021-02-24 20:36 荣锋亮阅读(239) 评论(0) 推荐(0)

dremio mysql connector 对于低版本mysql 支持中文乱码问题

摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd 阅读全文

posted @ 2021-02-24 11:51 荣锋亮阅读(227) 评论(0) 推荐(0)

dremio 自定义connector 图标

摘要： dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了一些预定对于maven 项目资源文件放resources 目录图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写参考案阅读全文

posted @ 2021-02-23 22:44 荣锋亮阅读(125) 评论(0) 推荐(0)

dremio sql server 自定义connector开发解决中文乱码问题

摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2021-02-23 21:46 荣锋亮阅读(277) 评论(0) 推荐(0)

dremio sql server 查询中文的问题

摘要： dremio 对于中文的支持需要进行一些额外的配置以及处理需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

posted @ 2021-02-22 22:19 荣锋亮阅读(315) 评论(0) 推荐(0)

规避dremio数据查询限制的一些方法

摘要： dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过）以下是一些简单的解决方法 32kb 问题基于视图主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

posted @ 2021-02-22 21:48 荣锋亮阅读(315) 评论(0) 推荐(0)

markojs ebay开源的支持基于html+组件化web app的框架

摘要： markojs 可以使用基于html 标签的模式进行webapp开发，同时也是一个模版引擎自持stream 模式的请求处理,同时官方也提供了比较完整的生态支持（vs code plugin 方便开发）参考资料 https://tech.ebayinc.com/engineering/async- 阅读全文

posted @ 2021-02-21 20:35 荣锋亮阅读(314) 评论(0) 推荐(0)

golang 几种 filter的实现包

摘要：主要包含了bloom，cuckoo，xor filter的一些参考实现，方便学习使用参考资料 https://github.com/willf/bloom https://github.com/seiflotfy/cuckoofilter https://github.com/FastFilter 阅读全文

posted @ 2021-02-20 22:51 荣锋亮阅读(833) 评论(0) 推荐(0)

dremio 节点监控

摘要： dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个不错的选择主要jmx 监控项 heap 内存以及gc 频率直接内存使用轻量级线程监控指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

posted @ 2021-02-20 22:47 荣锋亮阅读(225) 评论(0) 推荐(0)

dremio 升级操作说明

摘要：以前大概说明过关于升级的操作，以下详细说明下流程备份数据，可以使用命令 backup,注意需要在master 操作下载新版本进行软连接关联注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离执行更新 upgrade 命阅读全文

posted @ 2021-02-20 22:32 荣锋亮阅读(211) 评论(0) 推荐(0)

airbyte 整体架构

摘要：内容来自官方文档，基于此图我们可以了解airbyte 的整体运行&&方便问题解决&&环境部署参考图简单说明 ui 进行配置，以及通过界面查看同步&&日志 config store 关于认证&&同步次信息存储 scheduler 存储关于调度执行情况 config api 方便ui 进行连接配置阅读全文

posted @ 2021-02-19 17:12 荣锋亮阅读(3334) 评论(0) 推荐(0)

plop 方便的micro-generator framework

摘要： plop是一个micro-generator framework，可以用来方便的生成代码参考使用安装 pacakge.json { "name": "appdemo", "version": "1.0.0", "main": "index.js", "license": "MIT", "depe 阅读全文

posted @ 2021-02-19 12:25 荣锋亮阅读(147) 评论(0) 推荐(0)

jsdelivr 工作原理

摘要：来自官方的文章，主要记录下设计参考资料 https://www.jsdelivr.com/network/infographic 阅读全文

posted @ 2021-02-19 09:27 荣锋亮阅读(278) 评论(0) 推荐(0)

集成unpkg npm包发布说明

摘要：主要在发布npm包的时候遵循了unpkg的要去，那么我们就能利用unpkg 灵活强大的npm 访问能力了以下是一个简单的说明参考流程使用umd 格式（浏览器以及node 都能使用的）添加 umd （或者dist）目录，同时添加gitignore 构建生成umd 格式（webpack,parce 阅读全文

posted @ 2021-02-18 15:44 荣锋亮阅读(1225) 评论(0) 推荐(0)

unpkg +verdaccio+ webpack 联邦实现多版本控制

摘要：参考了jherr 的webpack 联邦多版本，基于unpkg 以及verdaccio实现一个私有版本的测试环境环境准备 docker-compose version: "3" services: unpkg: image: dalongrong/unpkg:http-env environmen 阅读全文

posted @ 2021-02-18 14:58 荣锋亮阅读(581) 评论(0) 推荐(0)

导航

公告