上一页 1 ··· 58 59 60 61 62 63 64 65 66 ··· 133 下一页

2021年2月6日

maven几个加速地址配置

摘要: 主要包含了阿里云,华为云以及腾讯云的镜像,profile 部分是可以不用的,使用镜像就可以了 参考配置文件 <?xml version="1.0" encoding="utf-8"?> <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" 阅读全文

posted @ 2021-02-06 23:23 荣锋亮 阅读(578) 评论(0) 推荐(0)

dremio mongodb objectid 转换问题

摘要: dremio 默认将mongodb 的objectid 转换为varbinary,如果需要字符串格式的id,需要使用函数处理 参考函数 lower(to_hex("_id")) 参考效果 参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

posted @ 2021-02-06 23:01 荣锋亮 阅读(303) 评论(0) 推荐(0)

cube.js 集成dremio

摘要: cube.js 集成dremio 是一个很不错的选择,可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明,cube.js 进行数据分析,dremio 进行数据湖的处理(连接+加速数据处理) 简单集成 可以基于dreami 阅读全文

posted @ 2021-02-06 20:50 荣锋亮 阅读(389) 评论(0) 推荐(0)

dremio 集群部署模式

摘要: 主要说明关于标准集群模式 参考架构图 独立模式 自定义节点 注意ha 模式,需要依赖外部zk集群,外部共享存储,元数据共享存储(nas) 元数据存储,推荐的是告诉读写,低延迟,支持锁(nfs 推荐使用hard 模式) 外部存储,支持的模式也是比较多的,具体可以参考官方文档 参考资料 https:// 阅读全文

posted @ 2021-02-06 12:12 荣锋亮 阅读(353) 评论(0) 推荐(0)

timescaledb 2.0 ga了

摘要: timescaledb 2.0 ga了支持了好多新的特性,同时以前版本的企业特性也已经免费了。。。。 以下是一个简单的说明 早期企业特性可以免费使用了 多节点部署 持续聚合增强 支持用户自定义操作(方便自定义任务处理) 说明 好多新的特性还是应该体验下的,都是很不错的功能 参考资料 https:// 阅读全文

posted @ 2021-02-06 00:59 荣锋亮 阅读(359) 评论(0) 推荐(0)

dremio 数据湖平台

摘要: 说明dremio 很多人是从drill 出来的,但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的(权限管理 ,数据虚拟机化,数据湖支持。。。)但是apache drill 也是一个很不错的选择方案 支持的数据擦集成 说明 同时比较好的是cube.js 也是支持基于dre 阅读全文

posted @ 2021-02-06 00:24 荣锋亮 阅读(372) 评论(0) 推荐(0)

2021年2月5日

dremio 中文查询问题解决

摘要: 核心并不是dremio的问题,而是依赖的calcite的问题 参考配置 基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文

posted @ 2021-02-05 23:13 荣锋亮 阅读(387) 评论(0) 推荐(0)

nodejs 几个不错的文件系统抽象包

摘要: 主要是一个记录,主要的场景是可以方便进行基于文件的开发模式,同时可以灵活的使用各种后端存储(db,s3) 参考资料 https://github.com/tweedegolf/storage-abstraction https://github.com/Slynova-Org/flydrive ht 阅读全文

posted @ 2021-02-05 00:00 荣锋亮 阅读(122) 评论(0) 推荐(0)

2021年2月4日

cratedb 4.4 发布

摘要: 主要是关于性能提升以及sql 兼容,同时支持了新的 scalar 以及window 函数,具体使用可以参考官方文档 参考资料 https://github.com/crate/crate/releases/tag/4.4.0 https://crate.io/docs/crate/reference 阅读全文

posted @ 2021-02-04 23:46 荣锋亮 阅读(155) 评论(0) 推荐(0)

cube.js driver&&query&& cube schema 关系&&简单说明

摘要: 从术语上应该是没有直接关系的,但是实际运行的时候彼此是有依赖的 driver 主要进行 sql 的查询处理,同时进行连接管理的处理,query 进行 sql 生成的处理(创建实际需要的sql 查询),cube schema 主要是定义 cube 的规则,query 实际上也是对于schema 抽象语 阅读全文

posted @ 2021-02-04 23:13 荣锋亮 阅读(251) 评论(0) 推荐(0)

cube.js 关于oracle 集成的说明

摘要: cube.js 是支持oracle 连接的(基于官方oracle 驱动),但是有几个问题 目前cube.js 对于数据的分页是基于了oracle 12 所以对于低版本的不是很方便 官方目前还没解决,当然可以自己修改驱动支持,目前cube.js 对于详细的query 开发暂时还没有说明文档 需要依赖o 阅读全文

posted @ 2021-02-04 23:11 荣锋亮 阅读(85) 评论(0) 推荐(0)

nodejs vm+ babel ast 实现类似cube.js schema 的处理能力

摘要: 很简单主要是学习下cube.js 关于schema 的特殊处理了解下原理 以下部分代码参考了cube.js compiler 部分 参考项目 package.json { "name": "vm-scripts", "version": "1.0.0", "main": "index.js", "l 阅读全文

posted @ 2021-02-04 21:44 荣锋亮 阅读(207) 评论(0) 推荐(0)

2021年2月3日

cube.js 实现自定义驱动的方式

摘要: 基本就是一个套路,开发可以参考官方的driver 需要提供的几个接口实现 BaseQuery BaseDriver 接口实现说明 BaseDriver 官方的说法是需要query 以及testConnection 同时release 也是比较重要的 同时推荐基于generic-pool 进行连接池的 阅读全文

posted @ 2021-02-03 20:47 荣锋亮 阅读(289) 评论(0) 推荐(0)

cube.js 对于sql 方言支持的处理

摘要: sql 方言主要是为了进行不通数据库sql 兼容的支持,一般我们是不需要做的,但是一些特殊情况下我们 可能需要自己开发sql 方言处理 参考方法 server 初始化 packages/cubejs-server-core/src/core/server.ts const options: Serv 阅读全文

posted @ 2021-02-03 20:23 荣锋亮 阅读(270) 评论(0) 推荐(0)

2021年2月2日

cube.js playground暴露的几个不错的功能

摘要: 通过源码我们查看playground 提供的功能就会看到自己很不错的直接可以拿来使用的工具 主要代码在packages/cubejs-server-core/src/core/DevServer.ts 获取数据库schema 信息 代码如下,属于一个内部方法,可以基于driver获取数据库的sche 阅读全文

posted @ 2021-02-02 21:01 荣锋亮 阅读(221) 评论(0) 推荐(0)

cube.js 生产集成使用的几点说明

摘要: cube.js 官方已经提供了相关的生产部署说明,但是还是有点简单,有些还是我们需要关注解决 schema 存储问题 默认是基于文件系统存储的,可选的解决方法,扩展接口,支持基于s3的存储 几个问题 生产环境如何更新schema同时进行重编译,可以基于api进行控制(重启也是可以解决的。。。) 相关 阅读全文

posted @ 2021-02-02 20:48 荣锋亮 阅读(541) 评论(0) 推荐(0)

cube.js 上线文 filter 处理的原理

摘要: cube.js 支持基于上下文的filter 处理,核心是依赖了js 的proxy 参考filter 使用模式 cube(`demoapp`, { sql: ` SELECT * FROM transactions AS ts where ${SECURITY_CONTEXT.user_id.fil 阅读全文

posted @ 2021-02-02 20:46 荣锋亮 阅读(234) 评论(0) 推荐(0)

2021年2月1日

cube.js 上下文实践的一些说明

摘要: cube.js 提供了比较多的上下问支持,SECRUITY_CONTEXT,COMPILE_CONTEXT,FILTER_PARAMS,SQL_UTILS 但是在使用的时候可能会有好多问题,主要是原因是cube.js 对于编译的cache 以及不同context 的声明周期不一样 SECURITY_ 阅读全文

posted @ 2021-02-01 20:53 荣锋亮 阅读(244) 评论(0) 推荐(0)

2021年1月31日

使用clinicjs 分析cube.js 的调用情况

摘要: clinicjs 是一个很强大的nodejs 性能分析工具,以下只是一个简单的说明cube.js 中如何使用 方便学习cube.js 添加index.js 基于代码启动cube.js const CubejsServer = require('@cubejs-backend/server'); co 阅读全文

posted @ 2021-01-31 21:36 荣锋亮 阅读(250) 评论(0) 推荐(0)

sitespeed.io 开源web 性能监控&&优化工具集

摘要: sitespeed.io 提供了好多web 监控&&优化的工具,是一个很不错的工具集 sitespeed.io 包含了好多方便的工具,比如har 文件处理的,网络模拟的(chaos 工程) 说明 如果需要进行web性能分析,但是缺少工具sitespeed.io 是一个很不错的选择 参考资料 http 阅读全文

posted @ 2021-01-31 11:37 荣锋亮 阅读(278) 评论(0) 推荐(0)

sideway/joi js 强大的data schma 校验框架

摘要: 数据校验处理在实际中是一个很重要的东西,类似的框架也比较多,同时也包含了 好多规范指南(json schema,xml schema。。。。),joi 是一个比较强大的js 对于 校验框架,使用简单,支持特新丰富 参考使用 const Joi = require('joi'); ​ const sc 阅读全文

posted @ 2021-01-31 11:35 荣锋亮 阅读(332) 评论(0) 推荐(0)

cube.js 最新版本的一些特性

摘要: 昨天cube.js 推送了新版本的一些特新的汇总,实际上如果关注了官方issue 以及文档 应该会发现好多新特新已经很明确了,而且我以前也有简单的介绍 cubestore 新的数据预处理框架,我有介绍过,以下是官方的明确说明(当然基于基于了apache parquet,arrow )以及rocksd 阅读全文

posted @ 2021-01-31 10:58 荣锋亮 阅读(190) 评论(0) 推荐(0)

2021年1月30日

cube.js 支持的类型以及格式化

摘要: cube.js 对于不同的成员支持了一个的类型操作 measures 支持的类型以及格式 主要类型 measures 主要是关于聚合操作的,比如count,sum,avg,min,max,countDistinct,countDistinctApprox以及支持计算的number 参考格式 主要是百 阅读全文

posted @ 2021-01-30 23:33 荣锋亮 阅读(193) 评论(0) 推荐(0)

cube.js 上下文的一些说明

摘要: 以前有大概介绍过上下文变量,以下重点介绍一个上下文的说明 USER_CONTEXT 此变量主要是基于cube.js 的安全模式进行抽象的,核心是基于express 的中间件模式扩展的一个 参考代码 protected async defaultCheckAuth(req: Request, auth 阅读全文

posted @ 2021-01-30 23:24 荣锋亮 阅读(161) 评论(0) 推荐(0)

cube.js 多租户模式使用一个说明

摘要: 主要是关于多租户数据预聚合处理的 配置说明 module.exports = { contextToAppId: ({ authInfo }) => `CUBEJS_APP_${authInfo.myappid}`, // scheduledRefreshContexts should return 阅读全文

posted @ 2021-01-30 20:47 荣锋亮 阅读(159) 评论(0) 推荐(0)

airbyte 基于singer 扩展的EL 平台

摘要: airbyte 是基于singer 协议扩展的EL 平台,支持了不错的可视化操作 支持的特性 方便的数据操作(配置+api) 方便的connector 构建操作 开源可以私有化部署 参考docker-compose 运行 .env VERSION=0.14.1-alpha DATABASE_USER 阅读全文

posted @ 2021-01-30 19:10 荣锋亮 阅读(2334) 评论(0) 推荐(0)

2021年1月29日

cube.js dimensions 的一些说明

摘要: 部分参数 show 控制维度的可见性 dimensions: { comment: { type: `string`, sql: `comments`, shown: false } } case 进行case 的支持 cube("caseapp",{ sql: `select * from dem 阅读全文

posted @ 2021-01-29 21:46 荣锋亮 阅读(198) 评论(0) 推荐(0)

cube.js measures 的一些说明

摘要: 以前有介绍过关于cube.js 的measures,以下主要说明一些新的特性 filter 主要进行一个计算的过滤处理 ordersCompletedCount: { sql: `id`, type: `count`, filters: [ { sql: `${CUBE}.status = 'com 阅读全文

posted @ 2021-01-29 21:44 荣锋亮 阅读(281) 评论(0) 推荐(0)

2021年1月27日

cube.js 上下文变量

摘要: 上下文变量提供了比较强大的cube.js 自定义处理,目前cube.js 提供了filter,user context sql utils,compile context,unsafe value filter params 基于FILTER_PARAMS 允许基于filter 在sql 生成的时候 阅读全文

posted @ 2021-01-27 19:57 荣锋亮 阅读(223) 评论(0) 推荐(0)

cube.js 多租户的实践

摘要: 几个问题 安全 应该开启checkAuth 处理 同时基于此进行用户相关资源的配置(部分信息可以放jwt token 中,也可以基于用户配置后边查询) module.exports = { checkAuth: (req, auth) => { console.log("authinfo") con 阅读全文

posted @ 2021-01-27 18:09 荣锋亮 阅读(301) 评论(0) 推荐(0)

2021年1月26日

cube.js join 的处理

摘要: 支持join 模式 参考格式 joins: { TargetCubeName: { relationship: `belongsTo` || `hasMany` || `hasOne`, sql: `SQL ON clause` } } 说明 注意所有的join 使用的默认是left join ,对 阅读全文

posted @ 2021-01-26 20:53 荣锋亮 阅读(226) 评论(0) 推荐(0)

cube.js 一个隐藏的schema 扩展服务

摘要: cube.js 支持一种基于package.json deps 模式的schema 发现,但是目前默认是没有开启的,今天在开发基于 s3扩展的时候觉得也有必要支持下,所以基于es6 的默认函数参数模式,将 async dataSchemaFiles(includeDependencies=true) 阅读全文

posted @ 2021-01-26 19:43 荣锋亮 阅读(215) 评论(0) 推荐(0)

cube.js schemaversion的处理

摘要: cube.js 提供了动态schema 生成的处理,但是有些时候是需要进行schema 重新编译生成的 cube.js 提供了一个schemaVersion的配置选项可以用来解决此解决,我们可以基于api进行扩展 参考定义 注意此选项对于dev 模式是没有用的,因为dev每次都会进行schema 的 阅读全文

posted @ 2021-01-26 19:41 荣锋亮 阅读(198) 评论(0) 推荐(0)

扩展cube.js的repositoryFactory 支持基于s3的schema 存储

摘要: cube.js 是一个很不错的数据分析框架(架构设计特别灵活,支持多种数据源的处理) 以下是扩展本地文件系统,方便的支持基于s3的后后端存储模型,以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用 参考代码 源码可以参考github rongfengliang/cu 阅读全文

posted @ 2021-01-26 11:45 荣锋亮 阅读(181) 评论(0) 推荐(0)

2021年1月25日

stream-to-promise stream 2 promise 的npm 包

摘要: 好处就是简化callback的处理,以下是关于minio listobjects 的使用 参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie 阅读全文

posted @ 2021-01-25 23:09 荣锋亮 阅读(171) 评论(0) 推荐(0)

grafana 容器数据迁移的处理

摘要: 一个简单的场景,grafana 基于容器部署的,但是早起没有使用持久化数据卷以及使用了内置的sqlite 数据库 所以存在存储迁移的问题,几个数据迁移的方法 基于几个假设,我们没有使用额外的扩展插件 解决方法 使用api 导出dashboard 以及datasource 通知配置 直接copy gr 阅读全文

posted @ 2021-01-25 20:28 荣锋亮 阅读(620) 评论(0) 推荐(0)

2021年1月24日

json-caching-proxy 支持har 的cache proxy

摘要: json-caching-proxy 是基于express-http-proxy 开发的一个支持har cache 的proxy server,可以方便的 用来进行mock 以及测试 参考使用 支持cli 以及代码模式 安装 npm install -g json-caching-proxy 简单使 阅读全文

posted @ 2021-01-24 21:54 荣锋亮 阅读(130) 评论(0) 推荐(0)

cube.js 的客户端简单介绍

摘要: 目前来说官方主要提供的是js 的客户端,其他语言的暂时还没有,github 上也有人提议了尽管cube.js 提供了http api 以及通用的query format 但是还是确认web 的易用性,所有有了不同框架的client,同时也包装的比较方便,可以快速进行一些图表框架的继承 js clie 阅读全文

posted @ 2021-01-24 17:57 荣锋亮 阅读(327) 评论(0) 推荐(0)

cube.js 开发说明

摘要: 主要是关于如果进行cube.js 开发以及参与的(同时也可以方便的学习cube.js 项目结构) 主要说明关于client && driver 的开发 cube.js client 流程 1. clone 代码 yarn && yarn lerna bootstrap 安装依赖 2. 使用yarn 阅读全文

posted @ 2021-01-24 17:39 荣锋亮 阅读(648) 评论(0) 推荐(0)

cube.js 代码集成模式

摘要: 尽管cube.js 推荐基于docker 进行环境的部署,但是基于代码的启动模式也是很有用的 cube.js 提供了多种模式的方法,core以及server core 模式 core 模式比较原始了,我们可以方便的集成web 框架(express) @cubejs-backend/server-co 阅读全文

posted @ 2021-01-24 10:55 荣锋亮 阅读(304) 评论(0) 推荐(0)

上一页 1 ··· 58 59 60 61 62 63 64 65 66 ··· 133 下一页

导航