maven几个加速地址配置
摘要：
主要包含了阿里云，华为云以及腾讯云的镜像，profile 部分是可以不用的，使用镜像就可以了 参考配置文件 <?xml version="1.0" encoding="utf-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 阅读全文
posted @ 2021-02-06 23:23 荣锋亮 阅读(578) 评论(0) 推荐(0)
dremio mongodb objectid 转换问题
摘要：
dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理 参考函数 lower(to_hex("_id")) 参考效果 参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文
posted @ 2021-02-06 23:01 荣锋亮 阅读(303) 评论(0) 推荐(0)
cube.js 集成dremio
摘要：
cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理） 简单集成 可以基于dreami 阅读全文
posted @ 2021-02-06 20:50 荣锋亮 阅读(389) 评论(0) 推荐(0)
dremio 集群部署模式
摘要：
主要说明关于标准集群模式 参考架构图 独立模式 自定义节点 注意ha 模式，需要依赖外部zk集群，外部共享存储，元数据共享存储（nas） 元数据存储，推荐的是告诉读写，低延迟，支持锁（nfs 推荐使用hard 模式） 外部存储，支持的模式也是比较多的，具体可以参考官方文档 参考资料 https:// 阅读全文
posted @ 2021-02-06 12:12 荣锋亮 阅读(353) 评论(0) 推荐(0)
timescaledb 2.0 ga了
摘要：
timescaledb 2.0 ga了支持了好多新的特性，同时以前版本的企业特性也已经免费了。。。。 以下是一个简单的说明 早期企业特性可以免费使用了 多节点部署 持续聚合增强 支持用户自定义操作（方便自定义任务处理） 说明 好多新的特性还是应该体验下的，都是很不错的功能 参考资料 https:// 阅读全文
posted @ 2021-02-06 00:59 荣锋亮 阅读(359) 评论(0) 推荐(0)
dremio 数据湖平台
摘要：
说明dremio 很多人是从drill 出来的，但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的（权限管理 ，数据虚拟机化，数据湖支持。。。）但是apache drill 也是一个很不错的选择方案 支持的数据擦集成 说明 同时比较好的是cube.js 也是支持基于dre 阅读全文
posted @ 2021-02-06 00:24 荣锋亮 阅读(372) 评论(0) 推荐(0)
dremio 中文查询问题解决
摘要：
核心并不是dremio的问题，而是依赖的calcite的问题 参考配置 基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文
posted @ 2021-02-05 23:13 荣锋亮 阅读(387) 评论(0) 推荐(0)
nodejs 几个不错的文件系统抽象包
摘要：
主要是一个记录，主要的场景是可以方便进行基于文件的开发模式，同时可以灵活的使用各种后端存储（db,s3） 参考资料 https://github.com/tweedegolf/storage-abstraction https://github.com/Slynova-Org/flydrive ht 阅读全文
posted @ 2021-02-05 00:00 荣锋亮 阅读(122) 评论(0) 推荐(0)
cratedb 4.4 发布
摘要：
主要是关于性能提升以及sql 兼容，同时支持了新的 scalar 以及window 函数，具体使用可以参考官方文档 参考资料 https://github.com/crate/crate/releases/tag/4.4.0 https://crate.io/docs/crate/reference 阅读全文
posted @ 2021-02-04 23:46 荣锋亮 阅读(155) 评论(0) 推荐(0)
cube.js driver&&query&& cube schema 关系&&简单说明
摘要：
从术语上应该是没有直接关系的，但是实际运行的时候彼此是有依赖的 driver 主要进行 sql 的查询处理，同时进行连接管理的处理，query 进行 sql 生成的处理（创建实际需要的sql 查询），cube schema 主要是定义 cube 的规则，query 实际上也是对于schema 抽象语 阅读全文
posted @ 2021-02-04 23:13 荣锋亮 阅读(251) 评论(0) 推荐(0)
cube.js 关于oracle 集成的说明
摘要：
cube.js 是支持oracle 连接的（基于官方oracle 驱动），但是有几个问题 目前cube.js 对于数据的分页是基于了oracle 12 所以对于低版本的不是很方便 官方目前还没解决，当然可以自己修改驱动支持，目前cube.js 对于详细的query 开发暂时还没有说明文档 需要依赖o 阅读全文
posted @ 2021-02-04 23:11 荣锋亮 阅读(85) 评论(0) 推荐(0)
nodejs vm+ babel ast 实现类似cube.js schema 的处理能力
摘要：
很简单主要是学习下cube.js 关于schema 的特殊处理了解下原理 以下部分代码参考了cube.js compiler 部分 参考项目 package.json { "name": "vm-scripts", "version": "1.0.0", "main": "index.js", "l 阅读全文
posted @ 2021-02-04 21:44 荣锋亮 阅读(207) 评论(0) 推荐(0)
cube.js 实现自定义驱动的方式
摘要：
基本就是一个套路，开发可以参考官方的driver 需要提供的几个接口实现 BaseQuery BaseDriver 接口实现说明 BaseDriver 官方的说法是需要query 以及testConnection 同时release 也是比较重要的 同时推荐基于generic-pool 进行连接池的 阅读全文
posted @ 2021-02-03 20:47 荣锋亮 阅读(289) 评论(0) 推荐(0)
cube.js 对于sql 方言支持的处理
摘要：
sql 方言主要是为了进行不通数据库sql 兼容的支持，一般我们是不需要做的，但是一些特殊情况下我们 可能需要自己开发sql 方言处理 参考方法 server 初始化 packages/cubejs-server-core/src/core/server.ts const options: Serv 阅读全文
posted @ 2021-02-03 20:23 荣锋亮 阅读(270) 评论(0) 推荐(0)
cube.js playground暴露的几个不错的功能
摘要：
通过源码我们查看playground 提供的功能就会看到自己很不错的直接可以拿来使用的工具 主要代码在packages/cubejs-server-core/src/core/DevServer.ts 获取数据库schema 信息 代码如下，属于一个内部方法，可以基于driver获取数据库的sche 阅读全文
posted @ 2021-02-02 21:01 荣锋亮 阅读(221) 评论(0) 推荐(0)
cube.js 生产集成使用的几点说明
摘要：
cube.js 官方已经提供了相关的生产部署说明，但是还是有点简单，有些还是我们需要关注解决 schema 存储问题 默认是基于文件系统存储的，可选的解决方法，扩展接口，支持基于s3的存储 几个问题 生产环境如何更新schema同时进行重编译，可以基于api进行控制（重启也是可以解决的。。。） 相关 阅读全文
posted @ 2021-02-02 20:48 荣锋亮 阅读(541) 评论(0) 推荐(0)
cube.js 上线文 filter 处理的原理
摘要：
cube.js 支持基于上下文的filter 处理，核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文
posted @ 2021-02-02 20:46 荣锋亮 阅读(234) 评论(0) 推荐(0)
cube.js 上下文实践的一些说明
摘要：
cube.js 提供了比较多的上下问支持，SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题，主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文
posted @ 2021-02-01 20:53 荣锋亮 阅读(244) 评论(0) 推荐(0)
使用clinicjs 分析cube.js 的调用情况
摘要：
clinicjs 是一个很强大的nodejs 性能分析工具，以下只是一个简单的说明cube.js 中如何使用 方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co 阅读全文
posted @ 2021-01-31 21:36 荣锋亮 阅读(250) 评论(0) 推荐(0)
sitespeed.io 开源web 性能监控&&优化工具集
摘要：
sitespeed.io 提供了好多web 监控&&优化的工具，是一个很不错的工具集 sitespeed.io 包含了好多方便的工具，比如har 文件处理的，网络模拟的（chaos 工程） 说明 如果需要进行web性能分析，但是缺少工具sitespeed.io 是一个很不错的选择 参考资料 http 阅读全文
posted @ 2021-01-31 11:37 荣锋亮 阅读(278) 评论(0) 推荐(0)
sideway/joi js 强大的data schma 校验框架
摘要：
数据校验处理在实际中是一个很重要的东西，类似的框架也比较多，同时也包含了 好多规范指南（json schema，xml schema。。。。），joi 是一个比较强大的js 对于 校验框架，使用简单，支持特新丰富 参考使用 const Joi = require('joi'); const sc 阅读全文
posted @ 2021-01-31 11:35 荣锋亮 阅读(332) 评论(0) 推荐(0)
cube.js 最新版本的一些特性
摘要：
昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档 应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd 阅读全文
posted @ 2021-01-31 10:58 荣锋亮 阅读(190) 评论(0) 推荐(0)
cube.js 支持的类型以及格式化
摘要：
cube.js 对于不同的成员支持了一个的类型操作 measures 支持的类型以及格式 主要类型 measures 主要是关于聚合操作的，比如count,sum,avg,min,max,countDistinct,countDistinctApprox以及支持计算的number 参考格式 主要是百 阅读全文
posted @ 2021-01-30 23:33 荣锋亮 阅读(193) 评论(0) 推荐(0)
cube.js 上下文的一些说明
摘要：
以前有大概介绍过上下文变量，以下重点介绍一个上下文的说明 USER_CONTEXT 此变量主要是基于cube.js 的安全模式进行抽象的，核心是基于express 的中间件模式扩展的一个 参考代码 protected async defaultCheckAuth(req: Request, auth 阅读全文
posted @ 2021-01-30 23:24 荣锋亮 阅读(161) 评论(0) 推荐(0)
cube.js 多租户模式使用一个说明
摘要：
主要是关于多租户数据预聚合处理的 配置说明 module.exports = { contextToAppId: ({ authInfo }) => `CUBEJS_APP_${authInfo.myappid}`, // scheduledRefreshContexts should return 阅读全文
posted @ 2021-01-30 20:47 荣锋亮 阅读(159) 评论(0) 推荐(0)
airbyte 基于singer 扩展的EL 平台
摘要：
airbyte 是基于singer 协议扩展的EL 平台，支持了不错的可视化操作 支持的特性 方便的数据操作（配置+api） 方便的connector 构建操作 开源可以私有化部署 参考docker-compose 运行 .env VERSION=0.14.1-alpha DATABASE_USER 阅读全文
posted @ 2021-01-30 19:10 荣锋亮 阅读(2334) 评论(0) 推荐(0)
cube.js dimensions 的一些说明
摘要：
部分参数 show 控制维度的可见性 dimensions: { comment: { type: `string`, sql: `comments`, shown: false } } case 进行case 的支持 cube("caseapp",{ sql: `select * from dem 阅读全文
posted @ 2021-01-29 21:46 荣锋亮 阅读(198) 评论(0) 推荐(0)
cube.js measures 的一些说明
摘要：
以前有介绍过关于cube.js 的measures，以下主要说明一些新的特性 filter 主要进行一个计算的过滤处理 ordersCompletedCount: { sql: `id`, type: `count`, filters: [ { sql: `${CUBE}.status = 'com 阅读全文
posted @ 2021-01-29 21:44 荣锋亮 阅读(281) 评论(0) 推荐(0)
cube.js 上下文变量
摘要：
上下文变量提供了比较强大的cube.js 自定义处理，目前cube.js 提供了filter，user context sql utils，compile context,unsafe value filter params 基于FILTER_PARAMS 允许基于filter 在sql 生成的时候 阅读全文
posted @ 2021-01-27 19:57 荣锋亮 阅读(223) 评论(0) 推荐(0)
cube.js 多租户的实践
摘要：
几个问题 安全 应该开启checkAuth 处理 同时基于此进行用户相关资源的配置（部分信息可以放jwt token 中，也可以基于用户配置后边查询） module.exports = { checkAuth: (req, auth) => { console.log("authinfo") con 阅读全文
posted @ 2021-01-27 18:09 荣锋亮 阅读(301) 评论(0) 推荐(0)
cube.js join 的处理
摘要：
支持join 模式 参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 说明 注意所有的join 使用的默认是left join ，对 阅读全文
posted @ 2021-01-26 20:53 荣锋亮 阅读(226) 评论(0) 推荐(0)
cube.js 一个隐藏的schema 扩展服务
摘要：
cube.js 支持一种基于package.json deps 模式的schema 发现，但是目前默认是没有开启的，今天在开发基于 s3扩展的时候觉得也有必要支持下，所以基于es6 的默认函数参数模式，将 async dataSchemaFiles(includeDependencies=true) 阅读全文
posted @ 2021-01-26 19:43 荣锋亮 阅读(215) 评论(0) 推荐(0)
cube.js schemaversion的处理
摘要：
cube.js 提供了动态schema 生成的处理，但是有些时候是需要进行schema 重新编译生成的 cube.js 提供了一个schemaVersion的配置选项可以用来解决此解决，我们可以基于api进行扩展 参考定义 注意此选项对于dev 模式是没有用的，因为dev每次都会进行schema 的 阅读全文
posted @ 2021-01-26 19:41 荣锋亮 阅读(198) 评论(0) 推荐(0)
扩展cube.js的repositoryFactory 支持基于s3的schema 存储
摘要：
cube.js 是一个很不错的数据分析框架（架构设计特别灵活，支持多种数据源的处理） 以下是扩展本地文件系统，方便的支持基于s3的后后端存储模型，以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用 参考代码 源码可以参考github rongfengliang/cu 阅读全文
posted @ 2021-01-26 11:45 荣锋亮 阅读(181) 评论(0) 推荐(0)
stream-to-promise stream 2 promise 的npm 包
摘要：
好处就是简化callback的处理，以下是关于minio listobjects 的使用 参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie 阅读全文
posted @ 2021-01-25 23:09 荣锋亮 阅读(171) 评论(0) 推荐(0)
grafana 容器数据迁移的处理
摘要：
一个简单的场景，grafana 基于容器部署的，但是早起没有使用持久化数据卷以及使用了内置的sqlite 数据库 所以存在存储迁移的问题，几个数据迁移的方法 基于几个假设，我们没有使用额外的扩展插件 解决方法 使用api 导出dashboard 以及datasource 通知配置 直接copy gr 阅读全文
posted @ 2021-01-25 20:28 荣锋亮 阅读(620) 评论(0) 推荐(0)
json-caching-proxy 支持har 的cache proxy
摘要：
json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server，可以方便的 用来进行mock 以及测试 参考使用 支持cli 以及代码模式 安装 npm install -g json-caching-proxy 简单使 阅读全文
posted @ 2021-01-24 21:54 荣锋亮 阅读(130) 评论(0) 推荐(0)
cube.js 的客户端简单介绍
摘要：
目前来说官方主要提供的是js 的客户端，其他语言的暂时还没有，github 上也有人提议了尽管cube.js 提供了http api 以及通用的query format 但是还是确认web 的易用性，所有有了不同框架的client，同时也包装的比较方便，可以快速进行一些图表框架的继承 js clie 阅读全文
posted @ 2021-01-24 17:57 荣锋亮 阅读(327) 评论(0) 推荐(0)
cube.js 开发说明
摘要：
主要是关于如果进行cube.js 开发以及参与的（同时也可以方便的学习cube.js 项目结构） 主要说明关于client && driver 的开发 cube.js client 流程 1. clone 代码 yarn && yarn lerna bootstrap 安装依赖 2. 使用yarn 阅读全文
posted @ 2021-01-24 17:39 荣锋亮 阅读(648) 评论(0) 推荐(0)
cube.js 代码集成模式
摘要：
尽管cube.js 推荐基于docker 进行环境的部署，但是基于代码的启动模式也是很有用的 cube.js 提供了多种模式的方法，core以及server core 模式 core 模式比较原始了，我们可以方便的集成web 框架（express） @cubejs-backend/server-co 阅读全文
posted @ 2021-01-24 10:55 荣锋亮 阅读(304) 评论(0) 推荐(0)
浙公网安备 33010602011771号