荣锋亮 - 博客园

cube.js 自定义checkAuth 响应状态码

摘要：如果阅读源码了，会发现默认是基于UserError 进行处理的，但是默认只有403，解决方法参考源码通过以下源码可以看到内部处理 protected checkAuth: RequestHandler = async (req, res, next) => { const token = thi 阅读全文

posted @ 2021-04-16 23:23 荣锋亮阅读(166) 评论(0) 推荐(0)

cube.js dremio driver 类型转换bug修改

摘要：主要是为了和官方保持一致，添加了一下方法 castParameter() { if (this.definition().type 'boolean') { return 'CAST(? AS BOOLEAN)'; } else if (this.measure || this.definition 阅读全文

posted @ 2021-04-15 22:55 荣锋亮阅读(101) 评论(0) 推荐(0)

xfs 磁盘扩容

摘要：主要是一个记录需要执行的命令先growpart growpart /dev/xvda 1 然后 xfs_growfs -d /dev/xvda1 参考资料 https://stackoverflow.com/questions/25262518/xfs-grow-not-working 阅读全文

posted @ 2021-04-15 22:45 荣锋亮阅读(195) 评论(0) 推荐(0)

cube.js 动态编译问题

摘要：一般官方解决的动态编译使用asyncModule 但是asyncModule 有一些问题（对于join 处理有问题，这个是一个bug）解决方法使用repositoryFactory 不是很难，自己实现一个基于文件或者数据api的schemaFactory 使用sqlAlias 好处是cube 的阅读全文

posted @ 2021-04-15 21:32 荣锋亮阅读(143) 评论(0) 推荐(1)

cube.js 通过prepareCompiler获取 meta

摘要： meta 在cube.js 还是比较重要的（尽管当前没有太多的使用介绍），但是我们基于meta 可以进行代码生成，进行数据分析处理（基于元数据，方便开发数据分析应用）,playground 就是集成了次进行界面开发参考代码 app.js const {prepareCompiler} = re 阅读全文

posted @ 2021-04-14 22:55 荣锋亮阅读(120) 评论(0) 推荐(0)

cube.js 通过require 加载schema

摘要：我们可以通过require 的模式加载配置好的schema，但是需要注意sql 以及drillMembers 必须是一个函数()=> string 或者()=>string[] 几点说明自己开发的schema 不能再schema文件夹中 sql 以及drillMembers 必须是一个函数()=> 阅读全文

posted @ 2021-04-13 23:36 荣锋亮阅读(127) 评论(0) 推荐(0)

cube.js trino driver 使用几个问题

摘要：因为目前集成的实际上就是官方推荐的一个presto node client，但是因为node client 的一些问题（查询状态监测基于循环，所以不是很好）以下是一个解决方法禁用timezone 这个需要修改cube.js trino 的驱动，很简单(具体参考源码) constructor(co 阅读全文

posted @ 2021-04-13 22:35 荣锋亮阅读(174) 评论(0) 推荐(0)

trino nodejs 驱动

摘要：因为trino 与presto还是有差异的，所以fork 原有presto clinet进行了调整，同时发布了一个npm包参考修改的代码 lib/presto-client/headers.js var Headers = exports.Headers = function(){ }; Head 阅读全文

posted @ 2021-04-13 00:07 荣锋亮阅读(226) 评论(0) 推荐(0)

cube.js trino driver

摘要：主要是因为trino 相比presto 有修改，所以重新开发了一个cube.js 的驱动参考代码 trino node client 也基于官方的进行了调整，参考以下连接代码结构实际与presto 一样，所以代码也就没有太多修改，主要修改了依赖的驱动参考使用 .env # Cube.js e 阅读全文

posted @ 2021-04-13 00:03 荣锋亮阅读(143) 评论(0) 推荐(0)

cube.js playground 使用的一些问题

摘要： playground 是一个很不错的选择，可以方便的为我们生成cube.js schema 但是如果经常使用的话，会发现一些问题只包含了为string类型的列当然这个应该是一个bug，具体可以参考 https://github.com/cube-js/cube.js/blob/master/pa 阅读全文

posted @ 2021-04-12 13:44 荣锋亮阅读(138) 评论(0) 推荐(0)

cube.js 配置自定义basePath 扩展cube.js 多租户处理

摘要： cube.js 默认的basePath是cubejs-api 我们可以通过配置自定义的basePath提升多租户的处理能力参考配置 module.exports = { basePath:"/oneservice/:projectid", schemaVersion: ({ securityCon 阅读全文

posted @ 2021-04-11 20:55 荣锋亮阅读(143) 评论(0) 推荐(0)

cube.js 测试Query 的方法

摘要：核心还是基于官方的预编译能力，然后构建自己的query 传递参数进行测试参考代码 app.js const {prepareCompiler} = require("@cubejs-backend/schema-compiler") module.exports = { preCompiler:f 阅读全文

posted @ 2021-04-11 20:14 荣锋亮阅读(175) 评论(0) 推荐(0)

apache kylin 大数据olap 方案

摘要：参考图生态因为kylin提供了jdbc，rest api 所以我们可以方便的进行集成使用（我们可以开发一个cube.js 的驱动，可以方便的进行数据分析）后边尝试开发一个cube.js driver 集成测试下参考资料 http://kylin.apache.org/http://kylin. 阅读全文

posted @ 2021-04-11 10:10 荣锋亮阅读(99) 评论(0) 推荐(0)

k6 如何进行api 测试（demo）

摘要：内容来自官方文档，一个简单的基于postman 进行api 测试参考图使用说明编写测试脚本转换api （har，以及postman 请求到测试脚本）执行测试k6提供了har 转换工具以及postman 2 k6 的工具可以简化脚本的生成参考资料 https://k6.io/docs/te 阅读全文

posted @ 2021-04-11 00:20 荣锋亮阅读(405) 评论(0) 推荐(0)

k6 运行大规模测试

摘要：主要内容来自官方文档，介绍k6关于大规模测试的系统配置以及使用一些说明 k6 能够利用所有的cpu资源，同时单实例可以提供3-4 万的vus，同时可以生成30-40万的rps 推荐的主机配置内核 sysctl -w net.ipv4.ip_local_port_range="1024 65535 阅读全文

posted @ 2021-04-11 00:07 荣锋亮阅读(762) 评论(0) 推荐(0)

k6 常见测试模式说明

摘要： k6 对于常见的测试进行了多种说明，同时也有比较详细的讲解还是很不错的常见参考测试类型简单说明（smoke test）冒烟测试，验证系统的最小负载，而不会出现任何问题（load tet）负载测试，主要根据并发用户以及每秒请求评估系统性能 (stress test,spike test) 阅读全文

posted @ 2021-04-10 23:46 荣锋亮阅读(1277) 评论(0) 推荐(0)

k6 使用参考

摘要：以下进行一些k6负载测试工具使用的一些说明提供负载测试文件实际上就是一个js文件参考js 文件格式 // init code export default function() { // vu code } 一些说明 js 文件，可以自己编写，同时也可以基于har 文件生成,k6提供了har 阅读全文

posted @ 2021-04-10 23:29 荣锋亮阅读(855) 评论(0) 推荐(0)

dremio 开发测试简单说明

摘要：目前官方关于如何进行相关开发测试的明确的文档说明，但是我们基于官方提供的测试用例可以基本了解官方提供的测试用例 sabot/kernel/src/test/java/com/dremio 目录 ├── ArrowDsUtil.java ├── BaseDecimalFunctionTests.ja 阅读全文

posted @ 2021-04-10 23:26 荣锋亮阅读(249) 评论(0) 推荐(0)

cube.js prepareCompiler api 试用

摘要：前边有介绍过prepareCompiler API ,以下是一个项目集成使用简单说明包装prepareCompiler api 实际上可以不用，但是为了方便使用可以包装一下，比如提供给express 或者类似web 框架 cmd module app.js，此处的adapter 并不是必须，如果阅读全文

posted @ 2021-04-10 19:29 荣锋亮阅读(110) 评论(0) 推荐(0)

cube.js schema 预编译处理

摘要：在实际开发中，对于schema 检查是很重要的，不然一个异常的schema 会造成整个系统服务的不可用参考进行schema预编译的处理参考做法自己定义一个，同时使用schema 编译包提供的方法 import { prepareCompiler as originalPrepareCompil 阅读全文

posted @ 2021-04-10 13:50 荣锋亮阅读(127) 评论(0) 推荐(0)

cube.js driver 开发一些说明

摘要：以前有写过关于driver 开发的说明，实际上官方对于driver开发还是很不明确的，因为我们进行driver开发包含了driver 以及query，cube.js 提供了BaseDriver 以及BaseQuery，一般我们开发就是基于这两个类进行扩展，同时还有一个关于filter 的类（Ba 阅读全文

posted @ 2021-04-10 13:27 荣锋亮阅读(142) 评论(0) 推荐(0)

cube.js mssql driver 问题

摘要：目前mssql driver 运行的时候会有以下错误 The multi-part identifier "columns.data_type" could not be bound 原因需要指定别名解决方法 MSSqlDriver 重写informationSchemaQuery 方法，我已经阅读全文

posted @ 2021-04-09 17:01 荣锋亮阅读(113) 评论(0) 推荐(0)

cube.js s3 FileRepository 新功能

摘要：为了更好的集成cube.js 多租户的能力，进行了一些调整，支持基于配置参数的s3 schema 访问处理同时加强了数据桶过滤的支持核心修改的代码主要是关于构造函数以及minio链接部分 constructor(config) { const { ...restConfig } = confi 阅读全文

posted @ 2021-04-08 20:23 荣锋亮阅读(218) 评论(0) 推荐(0)

包装一个cube.js dremio 的驱动

摘要：因为默认cube.js dremio 查询1s 延迟的问题，进行了调整（参考了bigquery driver 的模式）项目代码说明代码结构 ├── README.md ├── driver │ ├── DremioDriver.js │ ├── DremioQuery.js │ └── inde 阅读全文

posted @ 2021-04-08 20:22 荣锋亮阅读(103) 评论(0) 推荐(0)

cube.js checkAuth 问题记录

摘要：默认cube.js 是基于jwt 进行认证的，当我们没有配置checkAuth 函数的时候，cube.js 的api server 会自动进行jwt 的解码同时放到securityContext中，但是当我们自己配置了之后就不会自动处理securityContext了解决方法自己实现jwt 的阅读全文

posted @ 2021-04-08 20:21 荣锋亮阅读(147) 评论(0) 推荐(0)

npm的package.json中的dependencies版本号

摘要：今天在碰到cube.js 关于一个版本bug 的问题的时候，发现npm 版本是一个比较重要的概念所以整理下关于npm 依赖版本号的说明 version 必须完全和version一致 >version 必须比version大 >=version 同上 <version 同上<=version 同上 ~ 阅读全文

posted @ 2021-04-07 22:50 荣锋亮阅读(488) 评论(0) 推荐(0)

开发一个materialize cube.js driver

摘要：因为materialize 是兼容pg 协议的（不是100%，但是常用的是兼容的）所以开发一个materialize driver 还是比较简单的需要解决的问题因为materialize不支持，删除就可以了statement_timeout 参考代码修改的代码 // await client. 阅读全文

posted @ 2021-04-07 22:47 荣锋亮阅读(93) 评论(0) 推荐(0)

lerna &&yarn 开发流程

摘要：参考使用流程独立版本 lerna.json { "packages": [ "packages/*" ], "version": "independent", // 此处比较重要，推荐基于独立版本模式 "npmClient": "yarn", "useWorkspaces": true // 使用阅读全文

posted @ 2021-04-06 23:24 荣锋亮阅读(636) 评论(0) 推荐(0)

haproxy 支持fix 协议

摘要： haproxy2.4（社区版）支持fix 协议的处理，包含以下特性 lb 多个fix server 加密fix 消息（tls）校验fix 消息基于tag 的路由基于tls 客户端证书的认证客户端ip 匹配说明 fix 在金融领域使用的比较多，后边可以尝试下此特性参考资料 https:// 阅读全文

posted @ 2021-04-05 11:28 荣锋亮阅读(119) 评论(0) 推荐(0)

dremio arp connector 开发

摘要：主要是为了实现类似数据联邦的功能的参考图代码 package com.dalong.dremio; import com.dremio.common.AutoCloseables; import com.dremio.common.util.CloseableIterator; import c 阅读全文

posted @ 2021-04-05 10:03 荣锋亮阅读(196) 评论(0) 推荐(0)

dremio 连接dremio 扩展dremio 集群规模

摘要：将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力，扩展数据查询以及数据虚拟层的能力参考图说明就是类似一种联邦的模式，dremio 可以串联dremio，核心方法是开发一个dremio 的arp connector，具体的开发方式与cratedb 的模式是一样的阅读全文

posted @ 2021-04-05 09:13 荣锋亮阅读(159) 评论(0) 推荐(0)

开发一个dremio cratedb arp connector

摘要：以前有介绍过如何基于arp模式开发一个dremio cratedb 的connector，但是当时的开发还是有点问题的以下是一个参考官方jdbc plugin 开发的cratedb connector （支持schema 获取）参考源码 package com.dremio.exec.store 阅读全文

posted @ 2021-04-05 01:06 荣锋亮阅读(159) 评论(0) 推荐(0)

dremio 自定义arp 开发的几个细节

摘要：官方关于arp的开发说明比较简单，如果需要支持一个兼容jdbc 的数据库开发还是有一些问题需要解决的标准格式 conf 类主要包含了关于UI，以及方言类的定义，同时也包含了数据源的管理，schema 的处理也比较重要参考格式 @SourceType(value = "SNOWFLAKE", l 阅读全文

posted @ 2021-04-04 10:42 荣锋亮阅读(180) 评论(0) 推荐(0)

protostuff java 序列化&&proto 编译&&生成器

摘要：特性高效-性能以及内存灵活-支持插件化的格式场景 rpc 的消息层数据存储以及cache的存储格式参考资料 https://github.com/protostuff/protostuffhttps://protostuff.github.io/docs/ 阅读全文

posted @ 2021-04-04 09:42 荣锋亮阅读(175) 评论(0) 推荐(0)

dremio 15一些新特性简单说明

摘要：以下进行一个特性说明新特性 utf-8编码支持以前我们需要特殊处理（env 以及函数），现在可以直接查询了（测试可行）启动清理有异常的物化视图这个是早期dremio 版本存在的问题（当异常操作的时候，造成加速有问题，自动清理可以解决类似问题，因为依靠定时刷新还是有问题的） join 查询的性阅读全文

posted @ 2021-04-04 00:46 荣锋亮阅读(160) 评论(0) 推荐(0)

dremio 15 发布

摘要：几天前dremio 发布了15，有了好多性能提升以及bug修复，具体可以参考官方文档，后边试用下参考资料 https://docs.dremio.com/release-notes/1500-release-notes/ 阅读全文

posted @ 2021-04-04 00:37 荣锋亮阅读(96) 评论(0) 推荐(0)

cube.js dremio driver基于补偿机制提升查询速度

摘要：默认cube.js 的dremio driver 在设计的时候，为了进行状态处理的请求使用了循环处理，同时添加了一个1s的延迟处理原始参考代码 async query(query, values) { const queryString = applyParams( query, (values 阅读全文

posted @ 2021-04-01 20:49 荣锋亮阅读(127) 评论(0) 推荐(0)

opendistro elasticsearch cube.js driver 开发说明

摘要： driver 的开发参考了官方elasticsearch 驱动，但是因为默认sql plugin 对于sql 函数支持的问题，部分功能是不支持的（时间函数是一个问题）参考代码代码结构 driver 开发说明参考了官方的，同时集成了方言 static dialectClass() { retur 阅读全文

posted @ 2021-03-31 23:39 荣锋亮阅读(263) 评论(0) 推荐(0)

flatbuffers 代码集成

摘要：参考上次的操作，因为默认的不是nodejs 模块友好的，使用了typescript 同时集成了代码 schema union HttpCommand { HttpQuery, HttpResultSet, HttpError } table HttpMessage { message_id: uin 阅读全文

posted @ 2021-03-28 23:06 荣锋亮阅读(228) 评论(0) 推荐(0)

flatbuffers 试用

摘要：安装cli 编译器 brew install flatbuffers cli 命令 flatc: error: unknown commandline argument: --help Usage: flatc [OPTION]... FILE... [-- FILE...] --binary -b 阅读全文

posted @ 2021-03-28 19:38 荣锋亮阅读(557) 评论(0) 推荐(0)

导航

公告