荣锋亮 - 博客园

liquidjs 兼容shopify liquid 的纯js 模板引擎

摘要： liquidjs 是兼容shopify liquid 的纯js 模板引擎，同时官方文档也比较完整支持的特性安全渲染（没有eval 以及Function 使用） shopify 兼容零依赖 ts 支持参考使用 app.js const { Liquid } = require('liquidj 阅读全文

posted @ 2021-05-16 10:03 荣锋亮阅读(791) 评论(0) 推荐(0)

tus 参考断点续传协议

摘要： tus 是一个参考的断点续传协议，同时也包含了好多客户端实现方案，很值得参考学习下说明 tus是一个面向http 的断点续传协议 https://github.com/tus/tusd https://tus.io/ 阅读全文

posted @ 2021-05-16 00:20 荣锋亮阅读(848) 评论(0) 推荐(1)

nunjucks jinja2 启发的nodejs 模板引擎

摘要： nunjucks 是 jinja2 启发的nodejs 模板引擎支持的特性类似jinja2强大的支持快速可扩展支持node 以及浏览器参说明 nunjucks 的功能还是很强大的，是一个值得使用的nodejs 模板引擎参考资料 https://mozilla.github.io/nun 阅读全文

posted @ 2021-05-15 22:29 荣锋亮阅读(226) 评论(0) 推荐(0)

使用jinja 模板引擎生成cube.js schema 文件

摘要：实际我们进行cube.js 的集成schema 是一个比较重要的东西，官方的playground 是提供了一个自己的脚手架，但是基于代码集成就需要我们自己搞定了（比如java），解决方法很简单我们可以基于模板引擎，以下是基于jinja模板引擎的demo（java 版本的工具）项目准备 pom. 阅读全文

posted @ 2021-05-15 19:21 荣锋亮阅读(205) 评论(0) 推荐(0)

cube.js 严模式校验cube.js 文件

摘要：在最近cube.js 的发布版本中官方开启了严格的cube.js 检查，是好事，同时也是不好的事情因为0.27.11 发布的版本因为一些校验没添加上，造成了自定义驱动的问题，目前官方已经修复了参考资料 https://github.com/cube-js/cube.js/releases/tag/ 阅读全文

posted @ 2021-05-14 23:29 荣锋亮阅读(82) 评论(0) 推荐(0)

cube.js预聚合对于大数据量处理的问题

摘要： cube.js 的预聚合是一个很不错的功能，但是目前是有一些问题的，比如我们包含了大量的数据（几十完，上百万）目前官方相关的解决方法数据拆分基于文件模式的文件处理（比如cubestore支持csv格式的）基于stream模式的数据处理（目前官方也比较推荐的模式）一些说明目前方案都不太好，阅读全文

posted @ 2021-05-14 23:06 荣锋亮阅读(241) 评论(0) 推荐(0)

cubestore 配置

摘要：以下是官方关于cubestore 配置的说明，我们可以用来参考部署集群（router以及woker）参考配置参考资料 https://cube.dev/docs/caching/running-in-productionhttps://cube.dev/docs/reference/enviro 阅读全文

posted @ 2021-05-10 22:01 荣锋亮阅读(222) 评论(0) 推荐(0)

构建自己的cube.js playground

摘要： cube.js 的playground 是可以修改的（开源，自定义），但是因为有依赖，所以很多时候直接使用是不行的解决方法使用npm 的shrinkwrap进行依赖的改写使用yarn 具体与npm 类似自己编译一个版本，使用私服进行替换自己编译playground 添加一个自己的静态web 阅读全文

posted @ 2021-05-09 11:19 荣锋亮阅读(229) 评论(0) 推荐(0)

nginx service-mesh ga了

摘要：官方参考集成方案参考资料 https://www.nginx.com/blog/how-to-choose-a-service-meshhttps://www.nginx.com/products/nginx-service-mesh/ 阅读全文

posted @ 2021-05-07 23:47 荣锋亮阅读(131) 评论(0) 推荐(0)

cubestore driver 添加auth认证

摘要：昨天有说明关于mysql协议支持auth的，今天说明下driver支持auth 的方法（已经支持了，只是代码处理需要调整下） cubestore 源码修改添加auth支持基于环境变量进行是否进行auth支持的判断 CUBESTORE_AUTH_ENABLE=1 使用，默认没有配置的就不使用 #[ 阅读全文

posted @ 2021-05-07 23:13 荣锋亮阅读(107) 评论(0) 推荐(0)

cubestore 添加auth 认证

摘要：实际上官方支持auth 的认证的，只是模式为None,我们可以自定义自己的一个auth，以下主要说明下关于mysql 协议的，因为特殊性 http 走的是websocket（后期添加）参考修改的代码 auth #[async_trait] impl SqlAuthService for SqlAu 阅读全文

posted @ 2021-05-06 22:51 荣锋亮阅读(98) 评论(0) 推荐(0)

基于s3 扩展cubestore

摘要： cubestore 已经设计支持基于s3的扩展方案，我们基于s3（s3兼容方案也是可以的）可以扩展我们的服务官方参考扩展一张参考图基于s3的扩展说明对于s3兼容存储的支持目前我发起了一个pr，等待官方的合并，目前测试还不错，可以使用参考资料 https://cube.dev/blog/i 阅读全文

posted @ 2021-05-06 21:25 荣锋亮阅读(96) 评论(0) 推荐(0)

cube.js 预聚合检查

摘要： cube.js 的预聚合是一个很强大的功能，我们看到官方也提供了相关的sql 我们可以检查是否可以使用预聚合参考方法我们可以基于api 以及页面（页面也是利用了api）http://localhost:4000/cubejs-api/v1/sql?query= 参考效果 api 效果页面说明阅读全文

posted @ 2021-05-05 11:47 荣锋亮阅读(130) 评论(0) 推荐(0)

cube.js 集成cubestore 时间格式问题的一些说明

摘要：官方的建议，推荐的使用方法是rollup类型的，直接基于originalSql的存在时间类型的问题（date类型并不是所有）参考资料 https://cube.dev/docs/pre-aggregations#rolluphttps://github.com/cube-js/cube.js/is 阅读全文

posted @ 2021-05-05 11:40 荣锋亮阅读(80) 评论(0) 推荐(0)

cube.js 集成cubestore 时间格式问题

摘要：目前cubestore 进行时间的处理是有点问题的（主要是依赖的DataFusion）现象参考日志 Error: Error: Internal: Error during planning: Coercion from [Utf8, Utf8] to the signature Exact([ 阅读全文

posted @ 2021-05-05 10:54 荣锋亮阅读(120) 评论(0) 推荐(0)

Building a GraphQL to SQL Compiler on Postgres, MS SQL and MySQL

摘要：转自:https://hasurahq.medium.com/building-a-graphql-to-sql-compiler-on-postgres-ms-sql-and-mysql-103dc99acec0 The release of Hasura 2.0 included one of 阅读全文

posted @ 2021-05-03 20:40 荣锋亮阅读(212) 评论(0) 推荐(0)

支持minio cubestore docker 镜像

摘要：目前已经构建了一个支持minio的cubestore 镜像dalongrong/cubestore 参考使用 docker-compose 文件 version: "3" services: postgres: image: postgres:12.2 environment: - POSTGRES 阅读全文

posted @ 2021-05-02 01:21 荣锋亮阅读(157) 评论(0) 推荐(0)

修改官方cubestore 支持minio s3

摘要：支持s3是cubestore 一个很不错的特性，可以提高系统的扩展性参考修改主要是添加endpoint 以及配置使用path格式请求 s3.rs impl S3RemoteFs { pub fn new( dir: PathBuf, region: String, endpoint:String 阅读全文

posted @ 2021-05-02 00:31 荣锋亮阅读(153) 评论(0) 推荐(0)

cubestore 使用需要注意的一些问题

摘要：通过尝试运行cubestore 发现了一个问题，以下是一些整理共享存储问题如果注意查看官方文档以及docker-compose 环境会发现都是挂载了同一个数据卷，这个很重要，目前官方没说明通过实践发现这个是必须的（使用blob 存储会好些，s3.。。）参考配置目前官方对于共享配置提供了完整的阅读全文

posted @ 2021-05-01 18:18 荣锋亮阅读(183) 评论(0) 推荐(0)

cubestore 运行试用

摘要：官方提供了docker-compose 的运行模式环境准备 docker-compose 文件 version: "3" services: cubestore_router: restart: always image: cubejs/cubestore:latest environment: 阅读全文

posted @ 2021-05-01 13:39 荣锋亮阅读(189) 评论(0) 推荐(0)

cube.js cubestore 生产可用了

摘要：使用到的技术 parquet，apache arrow，以及datafusion 参考机制参考使用模式传统基于cubestore 存储模式支持本地存储以及云模式（s3.。。）工作机制一个router 处理请求，管理数据库的元数据构建查询计划以及调度执行多个worker节并行进行数据预热阅读全文

posted @ 2021-05-01 11:00 荣锋亮阅读(154) 评论(0) 推荐(0)

使用map 解决cube.js 默认title 显示的问题

摘要：默认cube client sdk 提供了比较完整的处理展示，但是因为titile 比较长，或者就不是我们应该显示的，造成一些问题参考解决方法使用map 进行以下数据转换就可以了 const columns = resultSet.tableColumns().map((item)=>{ ret 阅读全文

posted @ 2021-04-28 22:29 荣锋亮阅读(142) 评论(0) 推荐(0)

cube.js 自定义日志处理

摘要： cube.js 的日志处理部分是可以扩展的，参考机制 const winston = require('winston'); const { loggly } = require('winston-loggly-bulk'); winston.add( new loggly({ token: 'L 阅读全文

posted @ 2021-04-26 21:15 荣锋亮阅读(125) 评论(0) 推荐(0)

tendis nodejs 连接问题

摘要：经过测试node-redis 客户端与tendis 连接是有点问题的（golang 以及java 是没有问题的）原因分析因为node-redis 支持debug模式，通过分析发现还是tendis兼容的问题与redis还是有差异的具体分析方法参考代码 const redis = require 阅读全文

posted @ 2021-04-26 13:05 荣锋亮阅读(224) 评论(0) 推荐(0)

nodejs 异步转同步整理

摘要：主要是集中参考使用方法，可以结合自己的场景解决问题参考代码 const co =require("co") const AsyncUtil = require('async-utility').default; async function demo(){ return { name:"dalon 阅读全文

posted @ 2021-04-26 00:10 荣锋亮阅读(662) 评论(0) 推荐(0)

使用async-utility 转换异步请求为同步

摘要： nodejs 的回调，async，promise 都是解决实际异步问题，但是很多时候异步转为同步也是一个实际的需求参考解决方法使用async-utility（依赖了deasync）参考代码 const AsyncUtil = require('async-utility').default; 阅读全文

posted @ 2021-04-25 20:08 荣锋亮阅读(219) 评论(0) 推荐(0)

cube.js schemaVersion npm 包

摘要：为了方便使用，包装了一个npm包可以直接使用，具体代码参考连接 npm 使用 yarn add @dalongrong/cubejs-schemaversion-cache cube.js // Cube.js configuration options: https://cube.dev/docs 阅读全文

posted @ 2021-04-24 19:59 荣锋亮阅读(93) 评论(0) 推荐(0)

开发一个cube.js schemaVersion 包装

摘要：默认dev环境schema 是不cache，所以会每次执行，生成环境是必须cache的，但是cache就有schemaversion 的问题所以基于cache-manager 包装了一个cache处理的，代码很简单，但是可以减少对于schemaversion的时间消耗参考包装代码 schemav 阅读全文

posted @ 2021-04-24 19:29 荣锋亮阅读(122) 评论(0) 推荐(0)

cube.js 多租户参考设计说明

摘要：下图是参考官方文档以及源码，整理的一个简单的说明，可以参考参考图阅读全文

posted @ 2021-04-24 14:06 荣锋亮阅读(121) 评论(0) 推荐(0)

cube.js 调度&&查询队参考参数

摘要：参考参数 packages/cubejs-query-orchestrator/src/orchestrator/QueryQueue.js 构造函数 constructor(redisQueuePrefix, options) { this.redisQueuePrefix = redisQueu 阅读全文

posted @ 2021-04-22 20:18 荣锋亮阅读(173) 评论(0) 推荐(0)

cube.js 自定义首页显示信息

摘要：实际上是一个简单的问题，就是依赖了initApp 参数参考使用 index.js module.exports = function(app){ if(process.env.NODE_ENV=="production"){ app.get("/",function(req,res){ res.s 阅读全文

posted @ 2021-04-22 20:12 荣锋亮阅读(124) 评论(0) 推荐(0)

cube.js data-blending一些说明

摘要： cube.js 的data-blending 理论上是可以支持多种查询的的聚合的，但是因为目前有一些限制，使用起来不是很方便参考代码 gateway.ts 文件 async getNormalizedQueries(query, context) { query = this.parseQuery 阅读全文

posted @ 2021-04-20 23:48 荣锋亮阅读(122) 评论(0) 推荐(0)

cube.js 新版本的一些特性

摘要：最近版本（0.26.100）包含一个很不错的特性支持在checkAuth进行自定义异常以及状态码的返回处理自定义状态码参考使用 const {CubejsHandlerError} = require("@cubejs-backend/api-gateway") module.exports = 阅读全文

posted @ 2021-04-20 20:01 荣锋亮阅读(119) 评论(0) 推荐(0)

cube.js TimeoutError: ResourceRequest timed out 问题参考解决方法

摘要：查看最近官方提交了一个pr进行了此问题的修复（这个问题官方提交了两个pr）参考pr https://github.com/cube-js/cube.js/pull/2576 https://github.com/cube-js/cube.js/pull/2575 核心解决说明主要是2576 这个阅读全文

posted @ 2021-04-20 09:43 荣锋亮阅读(203) 评论(0) 推荐(0)

使用k6 压测cube.js 请求接口

摘要：参考js 脚本 app.js // Creator: WebInspector 537.36 import { sleep, group,check } from "k6"; import http from "k6/http"; export const options = { vus: 2000 阅读全文

posted @ 2021-04-18 18:36 荣锋亮阅读(315) 评论(0) 推荐(0)

cube.js TimeoutError: ResourceRequest timed out 问题

摘要：最近在进行cube.js优化的时候碰到了此问题，实际上后边经过查看官方文档，官方也说明了次问题主要的原因 redis 并发连接配置的（但是不简单是这样的，经过测试在极端情况下如果连接池可用连接不够的时候会出现整个服务都不可用的问题）官方的解决方法结合自己实际的用户查询请求配置连接池参考配置阅读全文

posted @ 2021-04-18 17:48 荣锋亮阅读(307) 评论(0) 推荐(0)

streamsets http client 请求过大问题

摘要： http 请求body 过大问题现象 com.streamsets.pipeline.api.ext.io.OverrunException: Reader exceeded the read limit '1048576' 解决 in version 2.6 and before - add t 阅读全文

posted @ 2021-04-17 22:07 荣锋亮阅读(578) 评论(0) 推荐(0)

使用graalvm 运行cube.js

摘要： graalvm 一个瑞士军刀，很强大，希望基于graalvm 增强cube.js 的稳定性以及性能，所以做了一个简单demo 环境 docker-compose 文件 version: "3" services: trino: image: trinodb/trino:355 volumes: - 阅读全文

posted @ 2021-04-17 12:20 荣锋亮阅读(301) 评论(0) 推荐(0)

使用presto-gateway 进行trino 扩展

摘要：类似presto我们可以基于presto-gateway 进行扩展参考使用 lfyt玩法 pinterest 玩法说明目前presto-gateway 将会进行新版本的扩展，已经在预览了，对于trino 的扩展我们可以基于协议兼容处理 protocol.v1.alternate-header- 阅读全文

posted @ 2021-04-17 10:01 荣锋亮阅读(617) 评论(0) 推荐(0)

trino 兼容presto 的方法

摘要：因为从trino 351修改了协议，但是官方也是提供了兼容方法的，以下是解决方法客户端协议兼容配置协议可选请求头名一般为etc/trino/config.properties protocol.v1.alternate-header-name=Presto 参考资料 https://trino 阅读全文

posted @ 2021-04-17 09:14 荣锋亮阅读(804) 评论(0) 推荐(0)

导航

公告