dremio 创建反射的命令
摘要：
dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文
posted @ 2021-08-03 20:47 荣锋亮 阅读(136) 评论(0) 推荐(0)
dremio 的外部反射使用说明
摘要：
dremio 外部反射的意思是，反射的数据是在外部存储中，而不是由dremio 自己生成的，典型的场景是我们自己已经包含了物化的数据 而且我们想直接使用物化的数据 创建外部反射 创建vds CREATE VDS "myWorkspace"."sales_by_region" AS SELECT AV 阅读全文
posted @ 2021-08-02 21:39 荣锋亮 阅读(326) 评论(0) 推荐(0)
dremio 外部查询
摘要：
外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理 注意不是双引号，而且两个单引号 SELECT * FROM table(mdm_oracle.external_q 阅读全文
posted @ 2021-08-02 20:09 荣锋亮 阅读(154) 评论(0) 推荐(0)
docker容器添加字体文件
摘要：
一个比较常见的问题，主要是项目使用docker运行，进行了图片的处理，但是缺少相关的字体文件 解决方法 可以直接拷贝字体文件到镜像中，或者自己安装（比较推荐直接copy的，同时windows 的字体文件也是可以兼容） 参考dockerfile FROM openjdk:8 COPY --from=h 阅读全文
posted @ 2021-08-02 20:08 荣锋亮 阅读(3603) 评论(0) 推荐(1)
Macaroons 101: Contextual Confinement
摘要：
转自:https://evancordell.com/posts/macaroons-101-contextual-confinement/ 主要是关于Macaroons的介绍使用 Macaroons, like Fezzes, are cool. If you find yourself disa 阅读全文
posted @ 2021-08-01 13:25 荣锋亮 阅读(195) 评论(0) 推荐(0)
几种基于token 认证的标准
摘要：
整理几个关于token 的协议 jwt 这个大家日常使用就比较多了，资料也比较多问题：选项比较多（主要还是协议相关的的定义太多了） paseto 类似jwt，简化了处理问题：不是很活跃 macaroon 这个目前也是在学习的时候发现的，来源与google search 的论文,与通常的有点差异，从官 阅读全文
posted @ 2021-08-01 12:12 荣锋亮 阅读(298) 评论(0) 推荐(0)
spring batch 学习 简单demo
摘要：
以下是关于spring batch 简单学习环境，基于starter 生成代码 maven 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml 阅读全文
posted @ 2021-07-30 23:59 荣锋亮 阅读(705) 评论(0) 推荐(0)
docker 自定义网络解决网络冲突问题
摘要：
基于docker-compose 运行，主要是自定义了network 的ipam 通过docker-compose 方便的管理网络 参考配置 version: "3" services: mysql: image: mysql:5.7.16 restart: always volumes: - ./ 阅读全文
posted @ 2021-07-28 20:52 荣锋亮 阅读(848) 评论(0) 推荐(0)
cube.js elasticsearch 官方sql 扩展使用
摘要：
环境准备 es 环境 version: "3" services: es01: image: elasticsearch:7.3.2 container_name: es01 // 开启sql 以及认证 environment: - "http.host=0.0.0.0" - "transport. 阅读全文
posted @ 2021-07-27 22:29 荣锋亮 阅读(206) 评论(0) 推荐(0)
解决dremio 32k 大小的问题
摘要：
参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 阅读全文
posted @ 2021-07-24 01:17 荣锋亮 阅读(129) 评论(0) 推荐(0)
dremio 升级的一个实践
摘要：
通常的玩法 平时在进行dremio 升级的时候的步骤如下： 停止node节点，升级软件包（基于软连接，调整配置） 停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储） 启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下 阅读全文
posted @ 2021-07-23 21:58 荣锋亮 阅读(96) 评论(0) 推荐(0)
jenkins job 目录数据迁移
摘要：
问题 历史问题，磁盘分配的比较小，但是jenkins 配置的任务越来越多，不然会影响项目的创建了 解决方法 基于rsync 以及软连接的模式，rsync 的好处是可以保证文件属性信息的完整，软连接的好处是保持使用一直 参考命令 rsync -avrc --delete --progress /var 阅读全文
posted @ 2021-07-22 20:56 荣锋亮 阅读(326) 评论(0) 推荐(0)
visual studio离线安装参考
摘要：
很多时候windows环境中我们在安装pip包的时候是需要进行构建的，构建的时候就需要Microsoft Visual C++ Build Tools 工具了 默认安装还是比较大，而且很多时候我们是需要离线环境的，以下是相关命令 命令 下载安装包（在线的） 可以在微软官方下载 下载离线软件包以及配置 阅读全文
posted @ 2021-07-22 16:52 荣锋亮 阅读(816) 评论(0) 推荐(0)
基于arthas解决业务系统服务异常问题
摘要：
现象 应用基于spring cloud + k8s 部署，接口的暴露基于了nodeport+openresty，同时为了保证业务的稳定接口添加了upstream 的重试机制出现的问题是，当网关重新部署的时候服务可以使用一段时间，但是当业务系统量比较大的时候，过一段时间会出现服务不可用的问题 排错猜测 阅读全文
posted @ 2021-07-21 15:54 荣锋亮 阅读(419) 评论(0) 推荐(0)
cube.js 一些未来计划开发的新特性
摘要：
内容来自官方博客（cubhe,js a 轮了。。。） 参考新的架构 从此图可以看出，主要是关于bi 工具以及自动处理 说明 从官方博客的介绍，cube 的发展还是很不错的，而且官方也会投入更多的人在cube 的开发中，比较期待bi connector 的支持（也比较好支持，因为cube包含的sche 阅读全文
posted @ 2021-07-19 23:16 荣锋亮 阅读(109) 评论(0) 推荐(0)
npm optionalDependencies 依赖处理
摘要：
最近在进行nodejs 应用集成prometheus 的测试，一般我们会选择比较小的容器镜像，但是因为项目使用了express 框架的express-prometheus-middleware中间件，但是因为容器的环境我们选择官方比较小的镜像，没有安装python 环境，docker 构建的时候出现 阅读全文
posted @ 2021-07-19 22:40 荣锋亮 阅读(682) 评论(0) 推荐(0)
grafana 8.0 新的报警机制
摘要：
grafana 最近发布了8.0 功能还是很不错的，以下是关于8.0 报警运行的配置说明，具体使用可以参考官方文档 docker-compose 文件 version: "2.2" services: grafana: image: grafana/grafana environment: - "G 阅读全文
posted @ 2021-07-16 23:36 荣锋亮 阅读(2018) 评论(0) 推荐(0)
cube.js prometheus 监控
摘要：
这个问题是slack 中有人问到的，同时也是社区提的比较多的，基于prometheus 的监控方案是一个很不错的选择 因为cube.js 是基于express 开发的，同时官方也提供了插件扩展点的方法，我们可以直接使用现成的prometheus express 扩展 参考配置 prometheus 阅读全文
posted @ 2021-07-16 20:20 荣锋亮 阅读(254) 评论(0) 推荐(0)
cube.js 新版本playground 特性
摘要：
新版本playground 支持了一个很不错的特性，就是可以进行rollup 的设计（进行预聚合的判断处理） 参考界面 说明 基于rollup 设计器我们可以进行一些灵活的控制，比如结合编辑能力方便的进行schema 的调整，进行数据加速处理 参考资料 https://github.com/cube 阅读全文
posted @ 2021-07-13 22:23 荣锋亮 阅读(111) 评论(0) 推荐(0)
cube.js 性能优化
摘要：
核心是利用了clinicjs 进行分析 流程 安装clinicjs npm install -g clinic 修改启动模式修改 注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文
posted @ 2021-07-12 20:12 荣锋亮 阅读(296) 评论(0) 推荐(0)
data mesh & data lake & data fabric
摘要：
转自 ： https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文
posted @ 2021-07-11 22:38 荣锋亮 阅读(364) 评论(0) 推荐(0)
java 几个开源dataframe 的实现包
摘要：
python 的pandas 是一个很强大的dataframe 处理框架，同时java 也有spark 的dataframe 支持框架，但是spark还是有点重基于java 包的工具会更加方便，以下是几个相关的整理，使用的时候可以参考 说明 以下参考连接包含了具体的工具，同时官方文档都还算完备使用起 阅读全文
posted @ 2021-07-11 20:09 荣锋亮 阅读(3231) 评论(0) 推荐(0)
archaius netflix 的配置管理工具框架
摘要：
archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架 支持的特性 动态属性 支持动态的获取配置，同时支持事件变动监听 支持polling 模式的动态配置数据源 内置几个可用的配置源 提供了配置以及部署上下文管理 基于com.netf 阅读全文
posted @ 2021-07-11 11:25 荣锋亮 阅读(300) 评论(0) 推荐(0)
dremio 文件夹数据分区
摘要：
使用场景 基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作 参考图 查询 因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作 说明 当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一 阅读全文
posted @ 2021-07-08 21:14 荣锋亮 阅读(145) 评论(0) 推荐(0)
dremio 17 发布了
摘要：
就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明 因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重 阅读全文
posted @ 2021-07-08 21:13 荣锋亮 阅读(150) 评论(0) 推荐(0)
conductor v3 docker-compose 运行
摘要：
运行方式与v2 类似，主要更新了docker 镜像 docker 镜像构建 目前官方暂时没有提供官方镜像，但是可以自己构建，我们只需要修改image name 同时docker-compose build 就可以了 构建目录 docker 参考运行 version: '2.3' services: 阅读全文
posted @ 2021-07-05 22:56 荣锋亮 阅读(497) 评论(1) 推荐(0)
使用parquetjs 创建parquet 文件
摘要：
parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用 参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文
posted @ 2021-07-03 23:37 荣锋亮 阅读(489) 评论(0) 推荐(0)
dremio 数据格式的一些说明
摘要：
内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置 说明 官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的 参考资料 https://docs.drem 阅读全文
posted @ 2021-07-03 23:07 荣锋亮 阅读(197) 评论(0) 推荐(0)
集成minio sidekick & console 的测试
摘要：
minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文
posted @ 2021-07-03 22:41 荣锋亮 阅读(3100) 评论(0) 推荐(0)
hermes golang email 模版包
摘要：
hermes 提供了灵活的基于html 的email发送模版支持，使用简单，而且也包含了灵活的主题支持 参考使用 项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文
posted @ 2021-07-02 23:28 荣锋亮 阅读(237) 评论(0) 推荐(0)
gothic 类似gotrue 的服务
摘要：
gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务，但是比gotrue 强大了好多，支持grpc，rest，grpc web 以及其他db 的支持（gorm） 说明 当前gothic 还在开发中，但是是一个不错的快速用户注册以及认证服务，很值得使用 参考资料 https://gi 阅读全文
posted @ 2021-07-02 23:27 荣锋亮 阅读(115) 评论(0) 推荐(0)
cube.js 官方关于cube store 的一些实践说明
摘要：
默认cube store 使用模式 问题： 如果数据大于100k问题就很明显了 批处理模式 cube.js 会发送压缩的csv 文件到cube store，（同时也包含了stream模式），目前支持包含的有redshift，bigquery，mysql，postgres 导出数据到云存储 基于buc 阅读全文
posted @ 2021-07-01 21:16 荣锋亮 阅读(294) 评论(0) 推荐(0)
dremio sql server 链接问题
摘要：
问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行 原因 通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低 就是因为jdk 版本的升级，一台机器禁用了tls1.0 的 阅读全文
posted @ 2021-06-30 22:48 荣锋亮 阅读(113) 评论(0) 推荐(0)
使用sbt-native-packager 构建通用的scala 软件包
摘要：
sbt-native-packager 是一个通用的scala 应用打包扩展，支持了多种模式的软件构建 支持的包模式 参考架构 使用 使用很简单，主要是添加配置，使用命令构建就可以了 添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文
posted @ 2021-06-27 20:28 荣锋亮 阅读(280) 评论(0) 推荐(0)
scala 扩展方法学习
摘要：
scala 的扩展方法很强大，类似C# 提供的扩展方法能力，基于scala 的扩展方法我们可以方便的开发一个dsl 模型 比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理 参考代码 package com.dalongdemo object DSL extends App{ 阅读全文
posted @ 2021-06-27 20:12 荣锋亮 阅读(189) 评论(0) 推荐(0)
dremio 几个方便的命令
摘要：
dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文
posted @ 2021-06-25 19:24 荣锋亮 阅读(348) 评论(0) 推荐(0)
delta lake minio+dremio 集成试用
摘要：
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文
posted @ 2021-06-24 20:38 荣锋亮 阅读(1037) 评论(5) 推荐(0)
dremio 多集群共享zk 配置
摘要：
dremio 多集群共享zk 配置有些问题，官方说明不是很明确，而且从运行测试会有一些问题，以下是一个整理 配置 配置 zookeeper: "<host1>:2181,<host2>:2181,<host3>:2181/path/to/dremio" 说明 注意zk root 需要写在后边，而且需 阅读全文
posted @ 2021-06-24 00:09 荣锋亮 阅读(195) 评论(0) 推荐(0)
dremio官方正式16 发布说明
摘要：
最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有 阅读全文
posted @ 2021-06-21 22:08 荣锋亮 阅读(175) 评论(0) 推荐(0)
js json 处理几个方便的npm包
摘要：
superjson 是一个很不错的json 数据处理，解决了传统的数据类型处理，superjson 可以方便的处理，devalue是一个类型安全的json 处理库，funjson 是一个可以处理json 包含函数处理的工具，json-fns 也是可以的,json-functify 也是一个工具 参考 阅读全文
posted @ 2021-06-20 23:26 荣锋亮 阅读(768) 评论(0) 推荐(0)
浙公网安备 33010602011771号