2021年7月24日

解决dremio 32k 大小的问题

摘要:参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 阅读全文

posted @ 2021-07-24 01:17 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2021年7月23日

dremio 升级的一个实践

摘要:通常的玩法 平时在进行dremio 升级的时候的步骤如下: 停止node节点,升级软件包(基于软连接,调整配置) 停止master,升级软件包(基于软连接,调整配置,升级master 的kv 存储) 启动master 启动node 上边问题的一些问题 master 先启动,然后启动node 会有以下 阅读全文

posted @ 2021-07-23 21:58 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

2021年7月22日

jenkins job 目录数据迁移

摘要:问题 历史问题,磁盘分配的比较小,但是jenkins 配置的任务越来越多,不然会影响项目的创建了 解决方法 基于rsync 以及软连接的模式,rsync 的好处是可以保证文件属性信息的完整,软连接的好处是保持使用一直 参考命令 rsync -avrc --delete --progress /var 阅读全文

posted @ 2021-07-22 20:56 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

visual studio离线安装参考

摘要:很多时候windows环境中我们在安装pip包的时候是需要进行构建的,构建的时候就需要Microsoft Visual C++ Build Tools 工具了 默认安装还是比较大,而且很多时候我们是需要离线环境的,以下是相关命令 命令 下载安装包(在线的) 可以在微软官方下载 下载离线软件包以及配置 阅读全文

posted @ 2021-07-22 16:52 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

2021年7月21日

基于arthas解决业务系统服务异常问题

摘要:现象 应用基于spring cloud + k8s 部署,接口的暴露基于了nodeport+openresty,同时为了保证业务的稳定接口添加了upstream 的重试机制出现的问题是,当网关重新部署的时候服务可以使用一段时间,但是当业务系统量比较大的时候,过一段时间会出现服务不可用的问题 排错猜测 阅读全文

posted @ 2021-07-21 15:54 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

2021年7月19日

cube.js 一些未来计划开发的新特性

摘要:内容来自官方博客(cubhe,js a 轮了。。。) 参考新的架构 从此图可以看出,主要是关于bi 工具以及自动处理 说明 从官方博客的介绍,cube 的发展还是很不错的,而且官方也会投入更多的人在cube 的开发中,比较期待bi connector 的支持(也比较好支持,因为cube包含的sche 阅读全文

posted @ 2021-07-19 23:16 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

npm optionalDependencies 依赖处理

摘要:最近在进行nodejs 应用集成prometheus 的测试,一般我们会选择比较小的容器镜像,但是因为项目使用了express 框架的express-prometheus-middleware中间件,但是因为容器的环境我们选择官方比较小的镜像,没有安装python 环境,docker 构建的时候出现 阅读全文

posted @ 2021-07-19 22:40 荣锋亮 阅读(3) 评论(0) 推荐(0) 编辑

2021年7月16日

grafana 8.0 新的报警机制

摘要:grafana 最近发布了8.0 功能还是很不错的,以下是关于8.0 报警运行的配置说明,具体使用可以参考官方文档 docker-compose 文件 version: "2.2" services: grafana: image: grafana/grafana environment: - "G 阅读全文

posted @ 2021-07-16 23:36 荣锋亮 阅读(58) 评论(0) 推荐(0) 编辑

cube.js prometheus 监控

摘要:这个问题是slack 中有人问到的,同时也是社区提的比较多的,基于prometheus 的监控方案是一个很不错的选择 因为cube.js 是基于express 开发的,同时官方也提供了插件扩展点的方法,我们可以直接使用现成的prometheus express 扩展 参考配置 prometheus 阅读全文

posted @ 2021-07-16 20:20 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2021年7月13日

cube.js 新版本playground 特性

摘要:新版本playground 支持了一个很不错的特性,就是可以进行rollup 的设计(进行预聚合的判断处理) 参考界面 说明 基于rollup 设计器我们可以进行一些灵活的控制,比如结合编辑能力方便的进行schema 的调整,进行数据加速处理 参考资料 https://github.com/cube 阅读全文

posted @ 2021-07-13 22:23 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

2021年7月12日

cube.js 性能优化

摘要:核心是利用了clinicjs 进行分析 流程 安装clinicjs npm install -g clinic 修改启动模式修改 注意处理我们使用渐进的模式进行分析先doctor,然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

posted @ 2021-07-12 20:12 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

2021年7月11日

data mesh & data lake & data fabric

摘要:转自 : https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文

posted @ 2021-07-11 22:38 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

java 几个开源dataframe 的实现包

摘要:python 的pandas 是一个很强大的dataframe 处理框架,同时java 也有spark 的dataframe 支持框架,但是spark还是有点重基于java 包的工具会更加方便,以下是几个相关的整理,使用的时候可以参考 说明 以下参考连接包含了具体的工具,同时官方文档都还算完备使用起 阅读全文

posted @ 2021-07-11 20:09 荣锋亮 阅读(36) 评论(0) 推荐(0) 编辑

archaius netflix 的配置管理工具框架

摘要:archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架 支持的特性 动态属性 支持动态的获取配置,同时支持事件变动监听 支持polling 模式的动态配置数据源 内置几个可用的配置源 提供了配置以及部署上下文管理 基于com.netf 阅读全文

posted @ 2021-07-11 11:25 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

2021年7月8日

dremio 文件夹数据分区

摘要:使用场景 基于s3进行文件存储,我们使用dremio查询,同时dremio 也提供了强大的文件夹过滤操作 参考图 查询 因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作 说明 当然以上只是一种玩法,我们也可以基于时间分区,基于月份进行子分区,好处是不同月份的数据可能是不一 阅读全文

posted @ 2021-07-08 21:14 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

dremio 17 发布了

摘要:就在昨天7.7 dremio 官方发布了17 版本,这次挺好,官方的文档比较明确,而且因为arp扩展开发此次变动比较大,官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的,而且测试可行) 说明 因为16开始arp 的实现就变了,如果有自己开发的arp扩展需要重 阅读全文

posted @ 2021-07-08 21:13 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

2021年7月5日

conductor v3 docker-compose 运行

摘要:运行方式与v2 类似,主要更新了docker 镜像 docker 镜像构建 目前官方暂时没有提供官方镜像,但是可以自己构建,我们只需要修改image name 同时docker-compose build 就可以了 构建目录 docker 参考运行 version: '2.3' services: 阅读全文

posted @ 2021-07-05 22:56 荣锋亮 阅读(45) 评论(0) 推荐(0) 编辑

2021年7月3日

使用parquetjs 创建parquet 文件

摘要:parquetjs 是纯js 的parquet 文件创建以及读取工具,以下是一个简单的使用 参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

posted @ 2021-07-03 23:37 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dremio 数据格式的一些说明

摘要:内容来自官方文档,主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置 说明 官方文档同时也提供了关于delta lake 的说明,也是比较值得看看的 参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

集成minio sidekick & console 的测试

摘要:minio 官方目前提供了一个console 方便的管理工具,以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮 阅读(134) 评论(0) 推荐(0) 编辑

2021年7月2日

hermes golang email 模版包

摘要:hermes 提供了灵活的基于html 的email发送模版支持,使用简单,而且也包含了灵活的主题支持 参考使用 项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文

posted @ 2021-07-02 23:28 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

gothic 类似gotrue 的服务

摘要:gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务,但是比gotrue 强大了好多,支持grpc,rest,grpc web 以及其他db 的支持(gorm) 说明 当前gothic 还在开发中,但是是一个不错的快速用户注册以及认证服务,很值得使用 参考资料 https://gi 阅读全文

posted @ 2021-07-02 23:27 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

2021年7月1日

cube.js 官方关于cube store 的一些实践说明

摘要:默认cube store 使用模式 问题: 如果数据大于100k问题就很明显了 批处理模式 cube.js 会发送压缩的csv 文件到cube store,(同时也包含了stream模式),目前支持包含的有redshift,bigquery,mysql,postgres 导出数据到云存储 基于buc 阅读全文

posted @ 2021-07-01 21:16 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

2021年6月30日

dremio sql server 链接问题

摘要:问题: dremio 同一个版本,不同主机对于sql server 的链接效果不一样,一台机器是可以的,另外一台不行 原因 通过查看日志,发现是jdk 版本的问题(一个高一个低)同时sql server 因为历史原因tls 协议的版本比较低 就是因为jdk 版本的升级,一台机器禁用了tls1.0 的 阅读全文

posted @ 2021-06-30 22:48 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

2021年6月27日

使用sbt-native-packager 构建通用的scala 软件包

摘要:sbt-native-packager 是一个通用的scala 应用打包扩展,支持了多种模式的软件构建 支持的包模式 参考架构 使用 使用很简单,主要是添加配置,使用命令构建就可以了 添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文

posted @ 2021-06-27 20:28 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

scala 扩展方法学习

摘要:scala 的扩展方法很强大,类似C# 提供的扩展方法能力,基于scala 的扩展方法我们可以方便的开发一个dsl 模型 比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理 参考代码 package com.dalongdemo object DSL extends App{ 阅读全文

posted @ 2021-06-27 20:12 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

2021年6月25日

dremio 几个方便的命令

摘要:dremio 提供了几个方便的sql 命令,可以管理虚拟数据集以及物理数据源,还有就是进行数据集元数据的刷新,反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

posted @ 2021-06-25 19:24 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

2021年6月24日

delta lake minio+dremio 集成试用

摘要:参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

posted @ 2021-06-24 20:38 荣锋亮 阅读(66) 评论(0) 推荐(0) 编辑

dremio 多集群共享zk 配置

摘要:dremio 多集群共享zk 配置有些问题,官方说明不是很明确,而且从运行测试会有一些问题,以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边,而且需 阅读全文

posted @ 2021-06-24 00:09 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

2021年6月21日

dremio官方正式16 发布说明

摘要:最近官方也发布了关于dremio 16 版本的变动信息,以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档,因为这个特性是需要企业版支持的,功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过,变动还是比较大的,以前模式开发的driver 大部分会有 阅读全文

posted @ 2021-06-21 22:08 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

2021年6月20日

js json 处理几个方便的npm包

摘要:superjson 是一个很不错的json 数据处理,解决了传统的数据类型处理,superjson 可以方便的处理,devalue是一个类型安全的json 处理库,funjson 是一个可以处理json 包含函数处理的工具,json-fns 也是可以的,json-functify 也是一个工具 参考 阅读全文

posted @ 2021-06-20 23:26 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

trpc 基于typescript的api 开放框架

摘要:trpc 是一个类型安全的api 开发框架,可以利用typescript 强大的类型能力,同时也能实现数据处理的复用,以下是一个参考案例 参考demo server 端代码 package.json { "dependencies": { "@trpc/client": "^7.3.3", "@tr 阅读全文

posted @ 2021-06-20 22:41 荣锋亮 阅读(46) 评论(0) 推荐(0) 编辑

几个不错的json schema 校验

摘要:日常开发中数据校验是很重要的,因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具,可以方便使用 参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

posted @ 2021-06-20 12:31 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

2021年6月19日

spring boot cors 动态添加以及cookie 处理

摘要:spring boot 4.2 之后直接支持基于注解解决了,使用很简单,但是需要严格控制跨域请求的就需要一些调整了 解决方法 自定义CorsFilter,自己创建一个bean,传入自定义的CorsConfigurationSource,CorsConfigurationSource 需要配置 一个匹 阅读全文

posted @ 2021-06-19 11:15 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

2021年6月17日

jcasbin RoleManager问题

摘要:jcasbin的好多设计与golang的还是有些差异的,造成的问题就很明显了与golang 使用方法有差异 部分golang 的业务处理模式不能无缝的移植到java版本,RoleManager 就存在类似的问题 golang 实现 官方golang 的实现提供了一个默认RoleManager,类似其 阅读全文

posted @ 2021-06-17 12:40 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

2021年6月15日

jcasbin 自定义函数

摘要:以下主要说明自定义函数的使用 参考代码 自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

posted @ 2021-06-15 21:53 荣锋亮 阅读(39) 评论(0) 推荐(0) 编辑

dremio 16 回退15.7 版本问题

摘要:dremio 最近发布了15.7 版本,同时删除了16版本(16问题挺多,maven 依赖没有私服,同时代码结构上有变动)打算直接安装一个15.7 版本的,同时按照官方的操作进行upgrade 然后升级kv 存储,发现实际上并不是这样的,不能直接进行升级方法降级(代码强制判断的) 解决方法 还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

2021年6月14日

armeria 构建响应式rpc 优先的微服务框架

摘要:armeria 是一个rpc优先的微服务狂简(netty作者开发的,line 公司开源)armeria 的优点很多,而且可以方便的与其他框架集成(spring boot,很多) 包含的特性 http2 优先,完备的支持http2,支持proxy 协议 集成grpc,thrift 支持grpc-ove 阅读全文

posted @ 2021-06-14 22:23 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

datafuse基于rust 开发的实时数据处理&&dbms分析系统

摘要:datafuse基于rust开发的实时数据处理&&分析框架 参考架构 组件说明 fusequery 分布式查询引擎(借鉴了clickhouse) fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎 说明 因为兼容mysql 协议所以使用上还是比较方便的(但是兼容协 阅读全文

posted @ 2021-06-14 18:01 荣锋亮 阅读(181) 评论(0) 推荐(0) 编辑

gotrue netlify 开源的通用用户管理&&jwt token 工具

摘要:gotrue 是基于golang 开发的,通用用户管理工具,使用简单,包含的功能比较完善,同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理(但是是fork了一个分支自己维护了),具体使用后边会介绍 参考资料 https://github.com/supabase/go 阅读全文

posted @ 2021-06-14 11:26 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

导航