荣锋亮 - 博客园

dremio 学习一简单了解

摘要： dremio 是一个数据湖引擎，包含以下特性快速的查询基于了apache arrow 进行数据查询自服务的语义层可以依托dremio 提供的数据虚拟服务层以及space 解决基于灵活以及开源的技术没有厂商技术的限制强大join 支持支持我们查询各种数据，同时进行join ，包含了商业阅读全文

posted @ 2021-02-08 08:26 荣锋亮阅读(1310) 评论(0) 推荐(0)

dremio 集群简单部署

摘要：一个简单的测试，不算是ha （ha 后边会介绍使用）环境准备 docker-compose 文件 version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" - "8080:8080" dremio1: image 阅读全文

posted @ 2021-02-07 23:25 荣锋亮阅读(643) 评论(0) 推荐(0)

idea 无法添加maven项目问题

摘要：常见问题，主要是项目使用了maven 的wrapper，但是idea 无法运行为maven 项目参考异常信息 java.lang.RuntimeException: Cannot start maven service at org.jetbrains.idea.maven.server.Mave 阅读全文

posted @ 2021-02-06 23:48 荣锋亮阅读(2040) 评论(0) 推荐(0)

maven几个加速地址配置

摘要：主要包含了阿里云，华为云以及腾讯云的镜像，profile 部分是可以不用的，使用镜像就可以了参考配置文件 <?xml version="1.0" encoding="utf-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 阅读全文

posted @ 2021-02-06 23:23 荣锋亮阅读(586) 评论(0) 推荐(0)

dremio mongodb objectid 转换问题

摘要： dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理参考函数 lower(to_hex("_id")) 参考效果参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

posted @ 2021-02-06 23:01 荣锋亮阅读(312) 评论(0) 推荐(0)

cube.js 集成dremio

摘要： cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发一个参考集成方案简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理）简单集成可以基于dreami 阅读全文

posted @ 2021-02-06 20:50 荣锋亮阅读(402) 评论(0) 推荐(0)

dremio 集群部署模式

摘要：主要说明关于标准集群模式参考架构图独立模式自定义节点注意ha 模式，需要依赖外部zk集群，外部共享存储，元数据共享存储（nas）元数据存储，推荐的是告诉读写，低延迟，支持锁（nfs 推荐使用hard 模式）外部存储，支持的模式也是比较多的，具体可以参考官方文档参考资料 https:// 阅读全文

posted @ 2021-02-06 12:12 荣锋亮阅读(355) 评论(0) 推荐(0)

timescaledb 2.0 ga了

摘要： timescaledb 2.0 ga了支持了好多新的特性，同时以前版本的企业特性也已经免费了。。。。以下是一个简单的说明早期企业特性可以免费使用了多节点部署持续聚合增强支持用户自定义操作（方便自定义任务处理）说明好多新的特性还是应该体验下的，都是很不错的功能参考资料 https:// 阅读全文

posted @ 2021-02-06 00:59 荣锋亮阅读(370) 评论(0) 推荐(0)

dremio 数据湖平台

摘要：说明dremio 很多人是从drill 出来的，但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的（权限管理，数据虚拟机化，数据湖支持。。。）但是apache drill 也是一个很不错的选择方案支持的数据擦集成说明同时比较好的是cube.js 也是支持基于dre 阅读全文

posted @ 2021-02-06 00:24 荣锋亮阅读(381) 评论(0) 推荐(0)

dremio 中文查询问题解决

摘要：核心并不是dremio的问题，而是依赖的calcite的问题参考配置基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文

posted @ 2021-02-05 23:13 荣锋亮阅读(394) 评论(0) 推荐(0)

nodejs 几个不错的文件系统抽象包

摘要：主要是一个记录，主要的场景是可以方便进行基于文件的开发模式，同时可以灵活的使用各种后端存储（db,s3）参考资料 https://github.com/tweedegolf/storage-abstraction https://github.com/Slynova-Org/flydrive ht 阅读全文

posted @ 2021-02-05 00:00 荣锋亮阅读(124) 评论(0) 推荐(0)

cratedb 4.4 发布

摘要：主要是关于性能提升以及sql 兼容，同时支持了新的 scalar 以及window 函数，具体使用可以参考官方文档参考资料 https://github.com/crate/crate/releases/tag/4.4.0 https://crate.io/docs/crate/reference 阅读全文

posted @ 2021-02-04 23:46 荣锋亮阅读(163) 评论(0) 推荐(0)

cube.js driver&&query&& cube schema 关系&&简单说明

摘要：从术语上应该是没有直接关系的，但是实际运行的时候彼此是有依赖的 driver 主要进行 sql 的查询处理，同时进行连接管理的处理，query 进行 sql 生成的处理（创建实际需要的sql 查询），cube schema 主要是定义 cube 的规则，query 实际上也是对于schema 抽象语阅读全文

posted @ 2021-02-04 23:13 荣锋亮阅读(264) 评论(0) 推荐(0)

cube.js 关于oracle 集成的说明

摘要： cube.js 是支持oracle 连接的（基于官方oracle 驱动），但是有几个问题目前cube.js 对于数据的分页是基于了oracle 12 所以对于低版本的不是很方便官方目前还没解决，当然可以自己修改驱动支持，目前cube.js 对于详细的query 开发暂时还没有说明文档需要依赖o 阅读全文

posted @ 2021-02-04 23:11 荣锋亮阅读(95) 评论(0) 推荐(0)

nodejs vm+ babel ast 实现类似cube.js schema 的处理能力

摘要：很简单主要是学习下cube.js 关于schema 的特殊处理了解下原理以下部分代码参考了cube.js compiler 部分参考项目 package.json { "name": "vm-scripts", "version": "1.0.0", "main": "index.js", "l 阅读全文

posted @ 2021-02-04 21:44 荣锋亮阅读(217) 评论(0) 推荐(0)

cube.js 实现自定义驱动的方式

摘要：基本就是一个套路，开发可以参考官方的driver 需要提供的几个接口实现 BaseQuery BaseDriver 接口实现说明 BaseDriver 官方的说法是需要query 以及testConnection 同时release 也是比较重要的同时推荐基于generic-pool 进行连接池的阅读全文

posted @ 2021-02-03 20:47 荣锋亮阅读(307) 评论(0) 推荐(0)

cube.js 对于sql 方言支持的处理

摘要： sql 方言主要是为了进行不通数据库sql 兼容的支持，一般我们是不需要做的，但是一些特殊情况下我们可能需要自己开发sql 方言处理参考方法 server 初始化 packages/cubejs-server-core/src/core/server.ts const options: Serv 阅读全文

posted @ 2021-02-03 20:23 荣锋亮阅读(287) 评论(0) 推荐(0)

cube.js playground暴露的几个不错的功能

摘要：通过源码我们查看playground 提供的功能就会看到自己很不错的直接可以拿来使用的工具主要代码在packages/cubejs-server-core/src/core/DevServer.ts 获取数据库schema 信息代码如下，属于一个内部方法，可以基于driver获取数据库的sche 阅读全文

posted @ 2021-02-02 21:01 荣锋亮阅读(239) 评论(0) 推荐(0)

cube.js 生产集成使用的几点说明

摘要： cube.js 官方已经提供了相关的生产部署说明，但是还是有点简单，有些还是我们需要关注解决 schema 存储问题默认是基于文件系统存储的，可选的解决方法，扩展接口，支持基于s3的存储几个问题生产环境如何更新schema同时进行重编译，可以基于api进行控制（重启也是可以解决的。。。）相关阅读全文

posted @ 2021-02-02 20:48 荣锋亮阅读(557) 评论(0) 推荐(0)

cube.js 上线文 filter 处理的原理

摘要： cube.js 支持基于上下文的filter 处理，核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文

posted @ 2021-02-02 20:46 荣锋亮阅读(243) 评论(0) 推荐(0)

cube.js 上下文实践的一些说明

摘要： cube.js 提供了比较多的上下问支持，SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题，主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文

posted @ 2021-02-01 20:53 荣锋亮阅读(253) 评论(0) 推荐(0)

使用clinicjs 分析cube.js 的调用情况

摘要： clinicjs 是一个很强大的nodejs 性能分析工具，以下只是一个简单的说明cube.js 中如何使用方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co 阅读全文

posted @ 2021-01-31 21:36 荣锋亮阅读(261) 评论(0) 推荐(0)

sitespeed.io 开源web 性能监控&&优化工具集

摘要： sitespeed.io 提供了好多web 监控&&优化的工具，是一个很不错的工具集 sitespeed.io 包含了好多方便的工具，比如har 文件处理的，网络模拟的（chaos 工程）说明如果需要进行web性能分析，但是缺少工具sitespeed.io 是一个很不错的选择参考资料 http 阅读全文

posted @ 2021-01-31 11:37 荣锋亮阅读(283) 评论(0) 推荐(0)

sideway/joi js 强大的data schma 校验框架

摘要：数据校验处理在实际中是一个很重要的东西，类似的框架也比较多，同时也包含了好多规范指南（json schema，xml schema。。。。），joi 是一个比较强大的js 对于校验框架，使用简单，支持特新丰富参考使用 const Joi = require('joi'); const sc 阅读全文

posted @ 2021-01-31 11:35 荣锋亮阅读(338) 评论(0) 推荐(0)

cube.js 最新版本的一些特性

摘要：昨天cube.js 推送了新版本的一些特新的汇总，实际上如果关注了官方issue 以及文档应该会发现好多新特新已经很明确了，而且我以前也有简单的介绍 cubestore 新的数据预处理框架，我有介绍过，以下是官方的明确说明（当然基于基于了apache parquet,arrow ）以及rocksd 阅读全文

posted @ 2021-01-31 10:58 荣锋亮阅读(198) 评论(0) 推荐(0)

cube.js 支持的类型以及格式化

摘要： cube.js 对于不同的成员支持了一个的类型操作 measures 支持的类型以及格式主要类型 measures 主要是关于聚合操作的，比如count,sum,avg,min,max,countDistinct,countDistinctApprox以及支持计算的number 参考格式主要是百阅读全文

posted @ 2021-01-30 23:33 荣锋亮阅读(196) 评论(0) 推荐(0)

cube.js 上下文的一些说明

摘要：以前有大概介绍过上下文变量，以下重点介绍一个上下文的说明 USER_CONTEXT 此变量主要是基于cube.js 的安全模式进行抽象的，核心是基于express 的中间件模式扩展的一个参考代码 protected async defaultCheckAuth(req: Request, auth 阅读全文

posted @ 2021-01-30 23:24 荣锋亮阅读(170) 评论(0) 推荐(0)

cube.js 多租户模式使用一个说明

摘要：主要是关于多租户数据预聚合处理的配置说明 module.exports = { contextToAppId: ({ authInfo }) => `CUBEJS_APP_${authInfo.myappid}`, // scheduledRefreshContexts should return 阅读全文

posted @ 2021-01-30 20:47 荣锋亮阅读(164) 评论(0) 推荐(0)

airbyte 基于singer 扩展的EL 平台

摘要： airbyte 是基于singer 协议扩展的EL 平台，支持了不错的可视化操作支持的特性方便的数据操作（配置+api）方便的connector 构建操作开源可以私有化部署参考docker-compose 运行 .env VERSION=0.14.1-alpha DATABASE_USER 阅读全文

posted @ 2021-01-30 19:10 荣锋亮阅读(2349) 评论(0) 推荐(0)

cube.js dimensions 的一些说明

摘要：部分参数 show 控制维度的可见性 dimensions: { comment: { type: `string`, sql: `comments`, shown: false } } case 进行case 的支持 cube("caseapp",{ sql: `select * from dem 阅读全文

posted @ 2021-01-29 21:46 荣锋亮阅读(211) 评论(0) 推荐(0)

cube.js measures 的一些说明

摘要：以前有介绍过关于cube.js 的measures，以下主要说明一些新的特性 filter 主要进行一个计算的过滤处理 ordersCompletedCount: { sql: `id`, type: `count`, filters: [ { sql: `${CUBE}.status = 'com 阅读全文

posted @ 2021-01-29 21:44 荣锋亮阅读(299) 评论(0) 推荐(0)

cube.js 上下文变量

摘要：上下文变量提供了比较强大的cube.js 自定义处理，目前cube.js 提供了filter，user context sql utils，compile context,unsafe value filter params 基于FILTER_PARAMS 允许基于filter 在sql 生成的时候阅读全文

posted @ 2021-01-27 19:57 荣锋亮阅读(231) 评论(0) 推荐(0)

cube.js 多租户的实践

摘要：几个问题安全应该开启checkAuth 处理同时基于此进行用户相关资源的配置（部分信息可以放jwt token 中，也可以基于用户配置后边查询） module.exports = { checkAuth: (req, auth) => { console.log("authinfo") con 阅读全文

posted @ 2021-01-27 18:09 荣锋亮阅读(306) 评论(0) 推荐(0)

cube.js join 的处理

摘要：支持join 模式参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 说明注意所有的join 使用的默认是left join ，对阅读全文

posted @ 2021-01-26 20:53 荣锋亮阅读(230) 评论(0) 推荐(0)

cube.js 一个隐藏的schema 扩展服务

摘要： cube.js 支持一种基于package.json deps 模式的schema 发现，但是目前默认是没有开启的，今天在开发基于 s3扩展的时候觉得也有必要支持下，所以基于es6 的默认函数参数模式，将 async dataSchemaFiles(includeDependencies=true) 阅读全文

posted @ 2021-01-26 19:43 荣锋亮阅读(223) 评论(0) 推荐(0)

cube.js schemaversion的处理

摘要： cube.js 提供了动态schema 生成的处理，但是有些时候是需要进行schema 重新编译生成的 cube.js 提供了一个schemaVersion的配置选项可以用来解决此解决，我们可以基于api进行扩展参考定义注意此选项对于dev 模式是没有用的，因为dev每次都会进行schema 的阅读全文

posted @ 2021-01-26 19:41 荣锋亮阅读(205) 评论(0) 推荐(0)

扩展cube.js的repositoryFactory 支持基于s3的schema 存储

摘要： cube.js 是一个很不错的数据分析框架（架构设计特别灵活，支持多种数据源的处理）以下是扩展本地文件系统，方便的支持基于s3的后后端存储模型，以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用参考代码源码可以参考github rongfengliang/cu 阅读全文

posted @ 2021-01-26 11:45 荣锋亮阅读(208) 评论(0) 推荐(0)

stream-to-promise stream 2 promise 的npm 包

摘要：好处就是简化callback的处理，以下是关于minio listobjects 的使用参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie 阅读全文

posted @ 2021-01-25 23:09 荣锋亮阅读(182) 评论(0) 推荐(0)

grafana 容器数据迁移的处理

摘要：一个简单的场景，grafana 基于容器部署的，但是早起没有使用持久化数据卷以及使用了内置的sqlite 数据库所以存在存储迁移的问题，几个数据迁移的方法基于几个假设，我们没有使用额外的扩展插件解决方法使用api 导出dashboard 以及datasource 通知配置直接copy gr 阅读全文

posted @ 2021-01-25 20:28 荣锋亮阅读(630) 评论(0) 推荐(0)

json-caching-proxy 支持har 的cache proxy

摘要： json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server，可以方便的用来进行mock 以及测试参考使用支持cli 以及代码模式安装 npm install -g json-caching-proxy 简单使阅读全文

posted @ 2021-01-24 21:54 荣锋亮阅读(136) 评论(0) 推荐(0)

导航

公告