上一页 1 ··· 56 57 58 59 60 61 62 63 64 ··· 133 下一页

2021年3月28日

flatbuffers 谷歌开源的内存高效的序列化库

摘要: flatbuffers 支持的特性 可以直接访问数据而不用进行解析以及拆包 内存高效 灵活 较小的代码生成 强类型 方便使用 跨平台 与protoco buffers 的比较 主要区别在于FlatBuffers不需要解析/解包步骤即可访问数据,而通常需要结合每个对象的内存分配,然后才能访问数据。该代 阅读全文

posted @ 2021-03-28 18:47 荣锋亮 阅读(272) 评论(0) 推荐(0)

2021年3月27日

filodb 分布式prometheus 时序数据库

摘要: filodb 是基于内存的,prometheus 兼容,多schema支持的时序以及事件操作db 适合的场景 事实metrics 存储查询,dashboard 可视化 分布式追踪 低延时即时应用metrics debug 不适合的场景 事物操作频繁&&面向更新的流程 olap 分析 参考资料 htt 阅读全文

posted @ 2021-03-27 18:24 荣锋亮 阅读(196) 评论(0) 推荐(0)

cube.js 一些预聚合分区新特性

摘要: 主要介绍cube.js 支持的一些rollup 分区特性 基于时间的 time 分区 参考 cube(`Orders`, { sql: `select * from orders`, //... preAggregations: { categoryAndDate: { type: `rollup` 阅读全文

posted @ 2021-03-27 00:04 荣锋亮 阅读(124) 评论(0) 推荐(0)

2021年3月26日

使用外部db 加速dremio 查询

摘要: 官方默认的实现是基于rest api 的,尽管可以开启数据反射提升查询速度,但是因为基于http连接有开销性能一般 可选的解决方法 etl dremio -> db 实现一个加速 问题也很明显,失去了使用dremio 的价值了 基于cube.js 预聚合处理(使用外部预聚合) 基于外部预聚合的解决方 阅读全文

posted @ 2021-03-26 23:30 荣锋亮 阅读(243) 评论(0) 推荐(0)

开发一个cube.js cratedb driver

摘要: 核心还是参考了官方的说明以及pg,因为cratedb driver 核心就是一个关于时间处理的 核心代码 删除以下 // await client.query(`SET TIME ZONE '${this.config.storeTimezone || 'UTC'}'`); 包装处理 为了方便,自定 阅读全文

posted @ 2021-03-26 23:16 荣锋亮 阅读(120) 评论(0) 推荐(0)

dremio 时间操作函数

摘要: 时间操作函数在sql中是一个比较常见的功能,官方是有一些介绍,但是缺少完整的使用案例具体我们可以参考apache drill 的官方文档 说明 部分函数可能drill 包含,但是dremio 没有,这个需要对比下官方文档 参考资料 https://drill.apache.org/docs/date 阅读全文

posted @ 2021-03-26 19:34 荣锋亮 阅读(338) 评论(0) 推荐(0)

authelia web sso 解决方案

摘要: 参考架构 参考资料 https://github.com/authelia/autheliahttps://www.authelia.com/ 阅读全文

posted @ 2021-03-26 19:33 荣锋亮 阅读(1005) 评论(0) 推荐(0)

dremio sql server 出现无法绑定由多个部分组成的标识符的解决方法

摘要: 比如怪异的一个问题,通过分析job 的执行情况发现都是正常的,但是经过调整之后发现属于解析的问题解决方法,可以通过在配置sql server 数据源的时候配置database 解决(就是强制指定了数据库) 问题现象 参考界面 阅读全文

posted @ 2021-03-26 19:32 荣锋亮 阅读(543) 评论(0) 推荐(0)

cratedb 4.5 企业特性可以免费使用了

摘要: 4.5 测试版本昨天发布了,好多新特性,企业版本的特性也免费了,可以直接体验下 参考docker-compose 运行 version: "3" services: cratedb: image: crate/crate:4.5.0 ports: - 4200:4200 - 5432:5432 参考 阅读全文

posted @ 2021-03-26 19:29 荣锋亮 阅读(285) 评论(0) 推荐(0)

cube.js 新版本cubestore 禁用

摘要: 最近几个版本的cube.js 默认会安装cube-store ,但是会有一个问题就是cube sotre 下载比较慢,而且很多是否我们暂时用不到 禁用方法 通过环境变量 CUBESTORE_SKIP_POST_INSTALL=true 参考资料 https://github.com/cube-js/ 阅读全文

posted @ 2021-03-26 19:24 荣锋亮 阅读(156) 评论(0) 推荐(0)

2021年3月14日

spring-native 编译spring 应用为graalvm native 镜像

摘要: spring-native beta 已经可以通过start.spring.io 试用了,基于graalvm native image 运行spring 就很方便了具体可以参考一下链接 参考资料 https://github.com/spring-projects-experimental/spri 阅读全文

posted @ 2021-03-14 23:50 荣锋亮 阅读(705) 评论(0) 推荐(0)

2021年3月12日

streamsets tar 模式启动

摘要: 参考步骤 下载 下载需要注册账户,注册就可以了 配置 基于3.21 解压软件包 tar xf streamsets-datacollector-all-3.21.0.tgz -C /opt/streamsets-datacollector 复制 service cp systemd/sdc.serv 阅读全文

posted @ 2021-03-12 22:58 荣锋亮 阅读(276) 评论(0) 推荐(0)

2021年3月9日

streamset data collector 新注册机制

摘要: streamset data collector 从3.15x开始下载是需要注册的,但是可以无限使用,这个还是很不错(主要还是因为云模式影响的)默认的登陆默认应该很早就有些变动了,默认会使用oauth,但是我们可以配置基于ldap以及file 的,但是还是需要注册码的 配置参考 https://st 阅读全文

posted @ 2021-03-09 23:06 荣锋亮 阅读(1860) 评论(0) 推荐(0)

2021年3月4日

pyroscope 参考使用

摘要: 基于golang 运行 运行server brew install pyroscope-io/brew/pyroscope pyroscope server golang 代码 package main import ( "github.com/gin-gonic/gin" "github.com/ 阅读全文

posted @ 2021-03-04 21:43 荣锋亮 阅读(926) 评论(0) 推荐(0)

pyroscope 很不错的基于golang 的火焰图分析工具

摘要: 参考部署架构 此图同时也是工作原理图 说明 pyroscope 的设计还是很不错的,而且页面效果也很不错,是一个基于火焰图分析工具的利器,官方文档提示还会有其他功能的添加 参考资料 https://github.com/pyroscope-io/pyroscope 阅读全文

posted @ 2021-03-04 21:30 荣锋亮 阅读(655) 评论(0) 推荐(0)

2021年3月3日

dremio 14 版本发布&&新的官方文档页面

摘要: dremio 14已经发布了,同时也提升了官方文档,对于sql 处理以及以前一些比较模糊的以及使用会有bug的问题也明确了(sql server 乱码,mysql 5.3 之前的版本乱码) 说明 14 版本的源码暂时还没有开放出来,下载了以前版本解压发现mysql 版本依赖的驱动还是老的(升级新的乱 阅读全文

posted @ 2021-03-03 08:04 荣锋亮 阅读(247) 评论(0) 推荐(0)

2021年3月2日

sijms/go-ora 1.0 发布了,使用buffer提升了系统的性能

摘要: 基于buffer的改进,提升了系统的查询性能,经过测试还是比较明显的对于需要使用golang 链接oracle 的话,已经是一个很不错的选择了,同时prometheus 的exporter 性能测试,提升也是很大的,可以参考https://github.com/rongfengliang/oracl 阅读全文

posted @ 2021-03-02 20:19 荣锋亮 阅读(187) 评论(0) 推荐(0)

2021年2月27日

开发一个cockroachdb 的cube.js 驱动

摘要: cube.js 官方有描述关于driver 开发的说明,以下是开发一个简单的cockroachdb 驱动 驱动开发说明 copy 相关项目,比如mysql 的driver 实现,命名为@cubejs-backend/-driver 不能copy changelog.md 命名驱动类以及readme. 阅读全文

posted @ 2021-02-27 22:23 荣锋亮 阅读(137) 评论(0) 推荐(0)

2021年2月26日

dremio 配置文件

摘要: 因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题,不然我们就需要自己配置 hosts,以下是来自官方代码仓库的一个参考配置,方便使用(注意此配置主要是核心组件的,还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-re 阅读全文

posted @ 2021-02-26 17:29 荣锋亮 阅读(358) 评论(0) 推荐(0)

cratedb 将完全开源

摘要: 具体可以参考cratedb 官方的一个说明,主要也和es的变更许可也有一些关系如果查看代码,或者relase 信息,也会看到2020 12 开源了企业特性,4.5 的发布会开源所有特性,到时cratedb 将会是一个完整的开源项目 参考资料 https://crate.io/a/cratedb-do 阅读全文

posted @ 2021-02-26 17:28 荣锋亮 阅读(266) 评论(0) 推荐(0)

2021年2月24日

jfrog 关闭开放 bintray&&jcenter&&gocenter&&chartcenter 服务

摘要: 具体时间表 参考链接https://jfrog.com/blog/into-the-sunset-bintray-jcenter-gocenter-and-chartcenter/ 阅读全文

posted @ 2021-02-24 22:27 荣锋亮 阅读(434) 评论(0) 推荐(0)

dremio tar 模式安装

摘要: 软件包准备 可以从官方文档下载 准备 主要是关于运行账户,推荐创建一个独立的账户 配置 主要是关于服务配置+内存配置+编码配置 dremio 配置 conf 目录的文件,推荐基于软链接的模式 参考 sudo ln -s /opt/dremio/conf /etc/dremio 数据目录 推荐配置独立 阅读全文

posted @ 2021-02-24 20:37 荣锋亮 阅读(254) 评论(0) 推荐(0)

dremio 部署系统要求

摘要: 支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ (支持rpm以及tar)SLES 12 sp2+ (tar)ubuntu 14+ (tar)debian 7 + (tar) jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存 执行节点最 阅读全文

posted @ 2021-02-24 20:36 荣锋亮 阅读(231) 评论(0) 推荐(0)

dremio mysql connector 对于低版本mysql 支持中文乱码问题

摘要: 最近在测试dremio mysql 连接的时候发现中文乱码,经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动,mariadb 对于老版本mysql 中文支持有点问题(目前测试的是mysql 5.1)解决方法:官方下载新的mariadb jdbc 驱动,放到目录为jars/3rd 阅读全文

posted @ 2021-02-24 11:51 荣锋亮 阅读(214) 评论(0) 推荐(0)

2021年2月23日

dremio 自定义connector 图标

摘要: dremio 有一套自己的标准,我们基于约定就可以自己开发的图标了 一些预定 对于maven 项目资源文件放resources 目录 图标是svg 格式的,大小为150*150 (当然无所谓大小) svg 的文件名称需要和自己定义的arp 定义metadata name 一样,推荐使用全大写 参考案 阅读全文

posted @ 2021-02-23 22:44 荣锋亮 阅读(121) 评论(0) 推荐(0)

dremio sql server 自定义connector开发解决中文乱码问题

摘要: 在通过反编译查看dremio ce 版本的jdbc 插件,发现对于sql server 的乱码是因为一个配置引起的 所以以下是尝试基于官方的机制,写一个sql server 的扩展,方便集成使用 项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

posted @ 2021-02-23 21:46 荣锋亮 阅读(271) 评论(0) 推荐(0)

2021年2月22日

dremio sql server 查询中文的问题

摘要: dremio 对于中文的支持需要进行一些额外的配置以及处理 需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

posted @ 2021-02-22 22:19 荣锋亮 阅读(301) 评论(0) 推荐(0)

规避dremio数据查询限制的一些方法

摘要: dremio 对于查询的数据是有一些限制的,比如数据表字段的内容大小不能超多32k(很多时候我们使用字段存储文本内容的时候就很容易超过) 以下是一些简单的解决方法 32kb 问题 基于视图 主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

posted @ 2021-02-22 21:48 荣锋亮 阅读(310) 评论(0) 推荐(0)

2021年2月21日

markojs ebay开源的支持基于html+组件化web app的框架

摘要: markojs 可以使用基于html 标签的模式进行webapp开发,同时也是一个模版引擎 自持stream 模式的请求处理,同时官方也提供了比较完整的生态支持(vs code plugin 方便开发) 参考资料 https://tech.ebayinc.com/engineering/async- 阅读全文

posted @ 2021-02-21 20:35 荣锋亮 阅读(299) 评论(0) 推荐(0)

2021年2月20日

golang 几种 filter的实现包

摘要: 主要包含了bloom,cuckoo,xor filter的一些参考实现,方便学习使用 参考资料 https://github.com/willf/bloom https://github.com/seiflotfy/cuckoofilter https://github.com/FastFilter 阅读全文

posted @ 2021-02-20 22:51 荣锋亮 阅读(828) 评论(0) 推荐(0)

dremio 节点监控

摘要: dremio 的节点包含了执行以及协调,我们可以基于提供的prometheus metrics 进行监控,同时基于提供的jmx 也是一个 不错的选择 主要jmx 监控项 heap 内存以及gc 频率 直接内存使用 轻量级线程监控 指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

posted @ 2021-02-20 22:47 荣锋亮 阅读(220) 评论(0) 推荐(0)

dremio 升级操作说明

摘要: 以前大概说明过关于升级的操作,以下详细说明下 流程 备份 数据,可以使用命令 backup,注意需要在master 操作 下载新版本 进行软连接关联 注意需要使用的软连接包含了软件包,配置,以及数据目录(比较推荐使用官方建议的运行配置模式) conf 以及data 分离 执行更新 upgrade 命 阅读全文

posted @ 2021-02-20 22:32 荣锋亮 阅读(203) 评论(0) 推荐(0)

2021年2月19日

airbyte 整体架构

摘要: 内容来自官方文档,基于此图我们可以了解airbyte 的整体运行&&方便问题解决&&环境部署 参考图 简单说明 ui 进行配置,以及通过界面查看同步&&日志 config store 关于认证&&同步次信息存储 scheduler 存储关于调度执行情况 config api 方便ui 进行连接配置 阅读全文

posted @ 2021-02-19 17:12 荣锋亮 阅读(3305) 评论(0) 推荐(0)

plop 方便的micro-generator framework

摘要: plop是一个micro-generator framework,可以用来方便的生成代码 参考使用 安装 pacakge.json { "name": "appdemo", "version": "1.0.0", "main": "index.js", "license": "MIT", "depe 阅读全文

posted @ 2021-02-19 12:25 荣锋亮 阅读(140) 评论(0) 推荐(0)

jsdelivr 工作原理

摘要: 来自官方的文章,主要记录下设计 参考资料 https://www.jsdelivr.com/network/infographic 阅读全文

posted @ 2021-02-19 09:27 荣锋亮 阅读(275) 评论(0) 推荐(0)

2021年2月18日

集成unpkg npm包发布说明

摘要: 主要在发布npm包的时候遵循了unpkg的要去,那么我们就能利用unpkg 灵活强大的npm 访问能力了以下是一个简单的说明 参考流程 使用umd 格式(浏览器以及node 都能使用的) 添加 umd (或者dist)目录,同时添加gitignore 构建生成umd 格式(webpack,parce 阅读全文

posted @ 2021-02-18 15:44 荣锋亮 阅读(1219) 评论(0) 推荐(0)

unpkg +verdaccio+ webpack 联邦实现多版本控制

摘要: 参考了jherr 的webpack 联邦多版本,基于unpkg 以及verdaccio实现一个私有版本的测试环境 环境准备 docker-compose version: "3" services: unpkg: image: dalongrong/unpkg:http-env environmen 阅读全文

posted @ 2021-02-18 14:58 荣锋亮 阅读(574) 评论(0) 推荐(0)

2021年2月17日

unpkg docker 镜像

摘要: 目的很简单,因为unpkg 的一些设计上可以解决我们web 开发中多版本的问题,而且unpkg 是开源的,所以 自己制作一个docker 镜像方便使用 构建 clone 代码 git clone https://github.com/mjackson/unpkg.git 修改代码 主要是去掉关于cl 阅读全文

posted @ 2021-02-17 23:14 荣锋亮 阅读(797) 评论(0) 推荐(0)

degit 简单项目脚手架工具

摘要: degit 是一个简单的利用了github 的项目脚手架工具(当然也支持其他git repo ),使用简单 支持基于cli 以及代码模式的使用 参考使用 安装 npm install -g degit 使用 npx degit https://github.com/rongfengliang/dre 阅读全文

posted @ 2021-02-17 11:16 荣锋亮 阅读(4675) 评论(0) 推荐(0)

2021年2月16日

dremio prometheus监控

摘要: dremio 提供了基于prometheus 的监控,同时也提供了opentracing 的支持(缺少文档说明) 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet 阅读全文

posted @ 2021-02-16 22:22 荣锋亮 阅读(296) 评论(0) 推荐(0)

上一页 1 ··· 56 57 58 59 60 61 62 63 64 ··· 133 下一页

导航