荣锋亮 - 博客园

解决dremio 32k 大小的问题

摘要：参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料阅读全文

posted @ 2021-07-24 01:17 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

dremio 升级的一个实践

摘要：通常的玩法平时在进行dremio 升级的时候的步骤如下：停止node节点，升级软件包（基于软连接，调整配置）停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储）启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下阅读全文

posted @ 2021-07-23 21:58 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

jenkins job 目录数据迁移

摘要：问题历史问题，磁盘分配的比较小，但是jenkins 配置的任务越来越多，不然会影响项目的创建了解决方法基于rsync 以及软连接的模式，rsync 的好处是可以保证文件属性信息的完整，软连接的好处是保持使用一直参考命令 rsync -avrc --delete --progress /var 阅读全文

posted @ 2021-07-22 20:56 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

visual studio离线安装参考

摘要：很多时候windows环境中我们在安装pip包的时候是需要进行构建的，构建的时候就需要Microsoft Visual C++ Build Tools 工具了默认安装还是比较大，而且很多时候我们是需要离线环境的，以下是相关命令命令下载安装包（在线的）可以在微软官方下载下载离线软件包以及配置阅读全文

posted @ 2021-07-22 16:52 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

基于arthas解决业务系统服务异常问题

摘要：现象应用基于spring cloud + k8s 部署，接口的暴露基于了nodeport+openresty，同时为了保证业务的稳定接口添加了upstream 的重试机制出现的问题是，当网关重新部署的时候服务可以使用一段时间，但是当业务系统量比较大的时候，过一段时间会出现服务不可用的问题排错猜测阅读全文

posted @ 2021-07-21 15:54 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

cube.js 一些未来计划开发的新特性

摘要：内容来自官方博客（cubhe,js a 轮了。。。）参考新的架构从此图可以看出，主要是关于bi 工具以及自动处理说明从官方博客的介绍，cube 的发展还是很不错的，而且官方也会投入更多的人在cube 的开发中，比较期待bi connector 的支持（也比较好支持，因为cube包含的sche 阅读全文

posted @ 2021-07-19 23:16 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

npm optionalDependencies 依赖处理

摘要：最近在进行nodejs 应用集成prometheus 的测试，一般我们会选择比较小的容器镜像，但是因为项目使用了express 框架的express-prometheus-middleware中间件，但是因为容器的环境我们选择官方比较小的镜像，没有安装python 环境，docker 构建的时候出现阅读全文

posted @ 2021-07-19 22:40 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

grafana 8.0 新的报警机制

摘要：grafana 最近发布了8.0 功能还是很不错的，以下是关于8.0 报警运行的配置说明，具体使用可以参考官方文档 docker-compose 文件 version: "2.2" services: grafana: image: grafana/grafana environment: - "G 阅读全文

posted @ 2021-07-16 23:36 荣锋亮阅读(58) 评论(0) 推荐(0) 编辑

cube.js prometheus 监控

摘要：这个问题是slack 中有人问到的，同时也是社区提的比较多的，基于prometheus 的监控方案是一个很不错的选择因为cube.js 是基于express 开发的，同时官方也提供了插件扩展点的方法，我们可以直接使用现成的prometheus express 扩展参考配置 prometheus 阅读全文

posted @ 2021-07-16 20:20 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

cube.js 新版本playground 特性

摘要：新版本playground 支持了一个很不错的特性，就是可以进行rollup 的设计（进行预聚合的判断处理）参考界面说明基于rollup 设计器我们可以进行一些灵活的控制，比如结合编辑能力方便的进行schema 的调整，进行数据加速处理参考资料 https://github.com/cube 阅读全文

posted @ 2021-07-13 22:23 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

cube.js 性能优化

摘要：核心是利用了clinicjs 进行分析流程安装clinicjs npm install -g clinic 修改启动模式修改注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

posted @ 2021-07-12 20:12 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

data mesh & data lake & data fabric

摘要：转自： https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文

posted @ 2021-07-11 22:38 荣锋亮阅读(22) 评论(0) 推荐(0) 编辑

java 几个开源dataframe 的实现包

摘要：python 的pandas 是一个很强大的dataframe 处理框架，同时java 也有spark 的dataframe 支持框架，但是spark还是有点重基于java 包的工具会更加方便，以下是几个相关的整理，使用的时候可以参考说明以下参考连接包含了具体的工具，同时官方文档都还算完备使用起阅读全文

posted @ 2021-07-11 20:09 荣锋亮阅读(36) 评论(0) 推荐(0) 编辑

archaius netflix 的配置管理工具框架

摘要：archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架支持的特性动态属性支持动态的获取配置，同时支持事件变动监听支持polling 模式的动态配置数据源内置几个可用的配置源提供了配置以及部署上下文管理基于com.netf 阅读全文

posted @ 2021-07-11 11:25 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

dremio 文件夹数据分区

摘要：使用场景基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作参考图查询因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作说明当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一阅读全文

posted @ 2021-07-08 21:14 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

dremio 17 发布了

摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重阅读全文

posted @ 2021-07-08 21:13 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

conductor v3 docker-compose 运行

摘要：运行方式与v2 类似，主要更新了docker 镜像 docker 镜像构建目前官方暂时没有提供官方镜像，但是可以自己构建，我们只需要修改image name 同时docker-compose build 就可以了构建目录 docker 参考运行 version: '2.3' services: 阅读全文

posted @ 2021-07-05 22:56 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

使用parquetjs 创建parquet 文件

摘要：parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

posted @ 2021-07-03 23:37 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dremio 数据格式的一些说明

摘要：内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置说明官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮阅读(20) 评论(0) 推荐(0) 编辑

集成minio sidekick & console 的测试

摘要：minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮阅读(134) 评论(0) 推荐(0) 编辑

hermes golang email 模版包

摘要：hermes 提供了灵活的基于html 的email发送模版支持，使用简单，而且也包含了灵活的主题支持参考使用项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文

posted @ 2021-07-02 23:28 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

gothic 类似gotrue 的服务

摘要：gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务，但是比gotrue 强大了好多，支持grpc，rest，grpc web 以及其他db 的支持（gorm）说明当前gothic 还在开发中，但是是一个不错的快速用户注册以及认证服务，很值得使用参考资料 https://gi 阅读全文

posted @ 2021-07-02 23:27 荣锋亮阅读(15) 评论(0) 推荐(0) 编辑

cube.js 官方关于cube store 的一些实践说明

摘要：默认cube store 使用模式问题：如果数据大于100k问题就很明显了批处理模式 cube.js 会发送压缩的csv 文件到cube store，（同时也包含了stream模式），目前支持包含的有redshift，bigquery，mysql，postgres 导出数据到云存储基于buc 阅读全文

posted @ 2021-07-01 21:16 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

dremio sql server 链接问题

摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行原因通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低就是因为jdk 版本的升级，一台机器禁用了tls1.0 的阅读全文

posted @ 2021-06-30 22:48 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

使用sbt-native-packager 构建通用的scala 软件包

摘要：sbt-native-packager 是一个通用的scala 应用打包扩展，支持了多种模式的软件构建支持的包模式参考架构使用使用很简单，主要是添加配置，使用命令构建就可以了添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文

posted @ 2021-06-27 20:28 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

scala 扩展方法学习

摘要：scala 的扩展方法很强大，类似C# 提供的扩展方法能力，基于scala 的扩展方法我们可以方便的开发一个dsl 模型比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理参考代码 package com.dalongdemo object DSL extends App{ 阅读全文

posted @ 2021-06-27 20:12 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dremio 几个方便的命令

摘要：dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

posted @ 2021-06-25 19:24 荣锋亮阅读(38) 评论(0) 推荐(0) 编辑

delta lake minio+dremio 集成试用

摘要：参考集成模式环境准备基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

posted @ 2021-06-24 20:38 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

dremio 多集群共享zk 配置

摘要：dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理配置配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明注意zk root 需要写在后边，而且需阅读全文

posted @ 2021-06-24 00:09 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio官方正式16 发布说明

摘要：最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明更新访问控制变动具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的切片线程监视可以保证异常流量请求的正常连接池的配置这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有阅读全文

posted @ 2021-06-21 22:08 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

js json 处理几个方便的npm包

摘要：superjson 是一个很不错的json 数据处理，解决了传统的数据类型处理，superjson 可以方便的处理，devalue是一个类型安全的json 处理库，funjson 是一个可以处理json 包含函数处理的工具，json-fns 也是可以的,json-functify 也是一个工具参考阅读全文

posted @ 2021-06-20 23:26 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

trpc 基于typescript的api 开放框架

摘要：trpc 是一个类型安全的api 开发框架，可以利用typescript 强大的类型能力，同时也能实现数据处理的复用，以下是一个参考案例参考demo server 端代码 package.json { "dependencies": { "@trpc/client": "^7.3.3", "@tr 阅读全文

posted @ 2021-06-20 22:41 荣锋亮阅读(46) 评论(0) 推荐(0) 编辑

几个不错的json schema 校验

摘要：日常开发中数据校验是很重要的，因为日常大家使用的json偏多以下整理了几个不错的node json 数据校验工具，可以方便使用参考资料 https://github.com/jquense/yuphttps://github.com/colinhacks/zodhttps://github.com 阅读全文

posted @ 2021-06-20 12:31 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑

spring boot cors 动态添加以及cookie 处理

摘要：spring boot 4.2 之后直接支持基于注解解决了，使用很简单，但是需要严格控制跨域请求的就需要一些调整了解决方法自定义CorsFilter,自己创建一个bean，传入自定义的CorsConfigurationSource，CorsConfigurationSource 需要配置一个匹阅读全文

posted @ 2021-06-19 11:15 荣锋亮阅读(30) 评论(0) 推荐(0) 编辑

jcasbin RoleManager问题

摘要：jcasbin的好多设计与golang的还是有些差异的，造成的问题就很明显了与golang 使用方法有差异部分golang 的业务处理模式不能无缝的移植到java版本，RoleManager 就存在类似的问题 golang 实现官方golang 的实现提供了一个默认RoleManager，类似其阅读全文

posted @ 2021-06-17 12:40 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

jcasbin 自定义函数

摘要：以下主要说明自定义函数的使用参考代码自定义函数 MyDemoFunc public class MyDemoFunc extends CustomFunction { @Override public AviatorObject call(Map<String, Object> env, Avi 阅读全文

posted @ 2021-06-15 21:53 荣锋亮阅读(39) 评论(0) 推荐(0) 编辑

dremio 16 回退15.7 版本问题

摘要：dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的）解决方法还好15 阅读全文

posted @ 2021-06-15 21:43 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

armeria 构建响应式rpc 优先的微服务框架

摘要：armeria 是一个rpc优先的微服务狂简（netty作者开发的，line 公司开源）armeria 的优点很多，而且可以方便的与其他框架集成（spring boot，很多）包含的特性 http2 优先，完备的支持http2，支持proxy 协议集成grpc，thrift 支持grpc-ove 阅读全文

posted @ 2021-06-14 22:23 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

datafuse基于rust 开发的实时数据处理&&dbms分析系统

摘要：datafuse基于rust开发的实时数据处理&&分析框架参考架构组件说明 fusequery 分布式查询引擎（借鉴了clickhouse） fusestore 借鉴了clickhouse 的mergetree 的分布式存储引擎说明因为兼容mysql 协议所以使用上还是比较方便的（但是兼容协阅读全文

posted @ 2021-06-14 18:01 荣锋亮阅读(181) 评论(0) 推荐(0) 编辑

gotrue netlify 开源的通用用户管理&&jwt token 工具

摘要：gotrue 是基于golang 开发的，通用用户管理工具，使用简单，包含的功能比较完善，同时也包含了多语言的sdksupabase就集成了此进行用户以及token 管理（但是是fork了一个分支自己维护了），具体使用后边会介绍参考资料 https://github.com/supabase/go 阅读全文

posted @ 2021-06-14 11:26 荣锋亮阅读(40) 评论(0) 推荐(0) 编辑

导航