荣锋亮 - 博客园

hawkular 开源监控组件

摘要：支持的特性联邦通知分布式追踪基于cassandra 的metrics tdsb ManageIQ 支持参考架构包含的组件说明 hawkular 目前发版很慢，基本属于维护状态了，但是设计还是很不错的，很值得研究下参考资料 https://www.hawkular.org/https:/ 阅读全文

posted @ 2021-08-07 21:19 荣锋亮阅读(158) 评论(0) 推荐(0)

cloudevents 学习二 java 代码集成试用

摘要：主要是测试cloudevents 与java 的集成（client 使用nodejs） nodejs client const axios = require("axios").default; const { emitterFor, Mode, HTTP,CloudEvent } = requir 阅读全文

posted @ 2021-08-04 19:39 荣锋亮阅读(893) 评论(0) 推荐(0)

cloudevents 学习一 js sdk 试用

摘要： server package.json { "name": "node", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "axios": "^0.21.1", "body-parser": " 阅读全文

posted @ 2021-08-04 19:37 荣锋亮阅读(188) 评论(0) 推荐(0)

dremio 创建反射的命令

摘要： dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作创建反射原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

posted @ 2021-08-03 20:47 荣锋亮阅读(147) 评论(0) 推荐(0)

dremio 的外部反射使用说明

摘要： dremio 外部反射的意思是，反射的数据是在外部存储中，而不是由dremio 自己生成的，典型的场景是我们自己已经包含了物化的数据而且我们想直接使用物化的数据创建外部反射创建vds CREATE VDS "myWorkspace"."sales_by_region" AS SELECT AV 阅读全文

posted @ 2021-08-02 21:39 荣锋亮阅读(348) 评论(0) 推荐(0)

dremio 外部查询

摘要：外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理注意不是双引号，而且两个单引号 SELECT * FROM table(mdm_oracle.external_q 阅读全文

posted @ 2021-08-02 20:09 荣锋亮阅读(161) 评论(0) 推荐(0)

docker容器添加字体文件

摘要：一个比较常见的问题，主要是项目使用docker运行，进行了图片的处理，但是缺少相关的字体文件解决方法可以直接拷贝字体文件到镜像中，或者自己安装（比较推荐直接copy的，同时windows 的字体文件也是可以兼容）参考dockerfile FROM openjdk:8 COPY --from=h 阅读全文

posted @ 2021-08-02 20:08 荣锋亮阅读(3641) 评论(0) 推荐(1)

Macaroons 101: Contextual Confinement

摘要：转自:https://evancordell.com/posts/macaroons-101-contextual-confinement/ 主要是关于Macaroons的介绍使用 Macaroons, like Fezzes, are cool. If you find yourself disa 阅读全文

posted @ 2021-08-01 13:25 荣锋亮阅读(198) 评论(0) 推荐(0)

几种基于token 认证的标准

摘要：整理几个关于token 的协议 jwt 这个大家日常使用就比较多了，资料也比较多问题：选项比较多（主要还是协议相关的的定义太多了） paseto 类似jwt，简化了处理问题：不是很活跃 macaroon 这个目前也是在学习的时候发现的，来源与google search 的论文,与通常的有点差异，从官阅读全文

posted @ 2021-08-01 12:12 荣锋亮阅读(309) 评论(0) 推荐(0)

spring batch 学习简单demo

摘要：以下是关于spring batch 简单学习环境，基于starter 生成代码 maven 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml 阅读全文

posted @ 2021-07-30 23:59 荣锋亮阅读(713) 评论(0) 推荐(0)

docker 自定义网络解决网络冲突问题

摘要：基于docker-compose 运行，主要是自定义了network 的ipam 通过docker-compose 方便的管理网络参考配置 version: "3" services: mysql: image: mysql:5.7.16 restart: always volumes: - ./ 阅读全文

posted @ 2021-07-28 20:52 荣锋亮阅读(862) 评论(0) 推荐(0)

cube.js elasticsearch 官方sql 扩展使用

摘要：环境准备 es 环境 version: "3" services: es01: image: elasticsearch:7.3.2 container_name: es01 // 开启sql 以及认证 environment: - "http.host=0.0.0.0" - "transport. 阅读全文

posted @ 2021-07-27 22:29 荣锋亮阅读(219) 评论(0) 推荐(0)

解决dremio 32k 大小的问题

摘要：参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料阅读全文

posted @ 2021-07-24 01:17 荣锋亮阅读(140) 评论(0) 推荐(0)

dremio 升级的一个实践

摘要：通常的玩法平时在进行dremio 升级的时候的步骤如下：停止node节点，升级软件包（基于软连接，调整配置）停止master，升级软件包（基于软连接，调整配置,升级master 的kv 存储）启动master 启动node 上边问题的一些问题 master 先启动，然后启动node 会有以下阅读全文

posted @ 2021-07-23 21:58 荣锋亮阅读(100) 评论(0) 推荐(0)

jenkins job 目录数据迁移

摘要：问题历史问题，磁盘分配的比较小，但是jenkins 配置的任务越来越多，不然会影响项目的创建了解决方法基于rsync 以及软连接的模式，rsync 的好处是可以保证文件属性信息的完整，软连接的好处是保持使用一直参考命令 rsync -avrc --delete --progress /var 阅读全文

posted @ 2021-07-22 20:56 荣锋亮阅读(331) 评论(0) 推荐(0)

visual studio离线安装参考

摘要：很多时候windows环境中我们在安装pip包的时候是需要进行构建的，构建的时候就需要Microsoft Visual C++ Build Tools 工具了默认安装还是比较大，而且很多时候我们是需要离线环境的，以下是相关命令命令下载安装包（在线的）可以在微软官方下载下载离线软件包以及配置阅读全文

posted @ 2021-07-22 16:52 荣锋亮阅读(848) 评论(0) 推荐(0)

基于arthas解决业务系统服务异常问题

摘要：现象应用基于spring cloud + k8s 部署，接口的暴露基于了nodeport+openresty，同时为了保证业务的稳定接口添加了upstream 的重试机制出现的问题是，当网关重新部署的时候服务可以使用一段时间，但是当业务系统量比较大的时候，过一段时间会出现服务不可用的问题排错猜测阅读全文

posted @ 2021-07-21 15:54 荣锋亮阅读(426) 评论(0) 推荐(0)

cube.js 一些未来计划开发的新特性

摘要：内容来自官方博客（cubhe,js a 轮了。。。）参考新的架构从此图可以看出，主要是关于bi 工具以及自动处理说明从官方博客的介绍，cube 的发展还是很不错的，而且官方也会投入更多的人在cube 的开发中，比较期待bi connector 的支持（也比较好支持，因为cube包含的sche 阅读全文

posted @ 2021-07-19 23:16 荣锋亮阅读(120) 评论(0) 推荐(0)

npm optionalDependencies 依赖处理

摘要：最近在进行nodejs 应用集成prometheus 的测试，一般我们会选择比较小的容器镜像，但是因为项目使用了express 框架的express-prometheus-middleware中间件，但是因为容器的环境我们选择官方比较小的镜像，没有安装python 环境，docker 构建的时候出现阅读全文

posted @ 2021-07-19 22:40 荣锋亮阅读(705) 评论(0) 推荐(0)

grafana 8.0 新的报警机制

摘要： grafana 最近发布了8.0 功能还是很不错的，以下是关于8.0 报警运行的配置说明，具体使用可以参考官方文档 docker-compose 文件 version: "2.2" services: grafana: image: grafana/grafana environment: - "G 阅读全文

posted @ 2021-07-16 23:36 荣锋亮阅读(2025) 评论(0) 推荐(0)

cube.js prometheus 监控

摘要：这个问题是slack 中有人问到的，同时也是社区提的比较多的，基于prometheus 的监控方案是一个很不错的选择因为cube.js 是基于express 开发的，同时官方也提供了插件扩展点的方法，我们可以直接使用现成的prometheus express 扩展参考配置 prometheus 阅读全文

posted @ 2021-07-16 20:20 荣锋亮阅读(270) 评论(0) 推荐(0)

cube.js 新版本playground 特性

摘要：新版本playground 支持了一个很不错的特性，就是可以进行rollup 的设计（进行预聚合的判断处理）参考界面说明基于rollup 设计器我们可以进行一些灵活的控制，比如结合编辑能力方便的进行schema 的调整，进行数据加速处理参考资料 https://github.com/cube 阅读全文

posted @ 2021-07-13 22:23 荣锋亮阅读(120) 评论(0) 推荐(0)

cube.js 性能优化

摘要：核心是利用了clinicjs 进行分析流程安装clinicjs npm install -g clinic 修改启动模式修改注意处理我们使用渐进的模式进行分析先doctor，然后参考提示进行分析 // 先doctor 模式运行 clinic doctor -- node node_module 阅读全文

posted @ 2021-07-12 20:12 荣锋亮阅读(318) 评论(0) 推荐(0)

data mesh & data lake & data fabric

摘要：转自： https://www.xenonstack.com/blog/data-mesh How is Data Mesh different from Data Lake? Given below are the differences between Data Mesh and Data L 阅读全文

posted @ 2021-07-11 22:38 荣锋亮阅读(379) 评论(0) 推荐(0)

java 几个开源dataframe 的实现包

摘要： python 的pandas 是一个很强大的dataframe 处理框架，同时java 也有spark 的dataframe 支持框架，但是spark还是有点重基于java 包的工具会更加方便，以下是几个相关的整理，使用的时候可以参考说明以下参考连接包含了具体的工具，同时官方文档都还算完备使用起阅读全文

posted @ 2021-07-11 20:09 荣锋亮阅读(3260) 评论(0) 推荐(0)

archaius netflix 的配置管理工具框架

摘要： archaius 是netflix 团队基于apache commons-configuration 扩展的配置管理框架支持的特性动态属性支持动态的获取配置，同时支持事件变动监听支持polling 模式的动态配置数据源内置几个可用的配置源提供了配置以及部署上下文管理基于com.netf 阅读全文

posted @ 2021-07-11 11:25 荣锋亮阅读(311) 评论(0) 推荐(0)

dremio 文件夹数据分区

摘要：使用场景基于s3进行文件存储，我们使用dremio查询，同时dremio 也提供了强大的文件夹过滤操作参考图查询因为dremio会自定添加dirN 所以我们可以基于文件夹进行数据的过滤操作说明当然以上只是一种玩法，我们也可以基于时间分区，基于月份进行子分区，好处是不同月份的数据可能是不一阅读全文

posted @ 2021-07-08 21:14 荣锋亮阅读(157) 评论(0) 推荐(0)

dremio 17 发布了

摘要：就在昨天7.7 dremio 官方发布了17 版本，这次挺好，官方的文档比较明确，而且因为arp扩展开发此次变动比较大，官方同时也提供了相关的文档说明,比较好的是dremio 17 支持es 7 了(比较期待的，而且测试可行) 说明因为16开始arp 的实现就变了，如果有自己开发的arp扩展需要重阅读全文

posted @ 2021-07-08 21:13 荣锋亮阅读(154) 评论(0) 推荐(0)

conductor v3 docker-compose 运行

摘要：运行方式与v2 类似，主要更新了docker 镜像 docker 镜像构建目前官方暂时没有提供官方镜像，但是可以自己构建，我们只需要修改image name 同时docker-compose build 就可以了构建目录 docker 参考运行 version: '2.3' services: 阅读全文

posted @ 2021-07-05 22:56 荣锋亮阅读(505) 评论(1) 推荐(0)

使用parquetjs 创建parquet 文件

摘要： parquetjs 是纯js 的parquet 文件创建以及读取工具，以下是一个简单的使用参考代码 var parquet = require('parquetjs'); var schema = new parquet.ParquetSchema({ name: { type: 'UTF8' } 阅读全文

posted @ 2021-07-03 23:37 荣锋亮阅读(500) 评论(0) 推荐(0)

dremio 数据格式的一些说明

摘要：内容来自官方文档，主要是关于parquet 的 parquet 限制 - 嵌入级别限制到16 - 数组包含的元素最大到128 - 最大footer 大小限制到16M 推荐配置说明官方文档同时也提供了关于delta lake 的说明，也是比较值得看看的参考资料 https://docs.drem 阅读全文

posted @ 2021-07-03 23:07 荣锋亮阅读(205) 评论(0) 推荐(0)

集成minio sidekick & console 的测试

摘要： minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮阅读(3109) 评论(0) 推荐(0)

hermes golang email 模版包

摘要： hermes 提供了灵活的基于html 的email发送模版支持，使用简单，而且也包含了灵活的主题支持参考使用项目准备 main.go package main import ( "io/ioutil" "log" "github.com/matcornic/hermes/v2" ) func 阅读全文

posted @ 2021-07-02 23:28 荣锋亮阅读(248) 评论(0) 推荐(0)

gothic 类似gotrue 的服务

摘要： gothic 是参考可gotrue 开发的一个通用用户注册以及认证服务，但是比gotrue 强大了好多，支持grpc，rest，grpc web 以及其他db 的支持（gorm）说明当前gothic 还在开发中，但是是一个不错的快速用户注册以及认证服务，很值得使用参考资料 https://gi 阅读全文

posted @ 2021-07-02 23:27 荣锋亮阅读(123) 评论(0) 推荐(0)

cube.js 官方关于cube store 的一些实践说明

摘要：默认cube store 使用模式问题：如果数据大于100k问题就很明显了批处理模式 cube.js 会发送压缩的csv 文件到cube store，（同时也包含了stream模式），目前支持包含的有redshift，bigquery，mysql，postgres 导出数据到云存储基于buc 阅读全文

posted @ 2021-07-01 21:16 荣锋亮阅读(301) 评论(0) 推荐(0)

dremio sql server 链接问题

摘要：问题： dremio 同一个版本，不同主机对于sql server 的链接效果不一样，一台机器是可以的，另外一台不行原因通过查看日志，发现是jdk 版本的问题（一个高一个低）同时sql server 因为历史原因tls 协议的版本比较低就是因为jdk 版本的升级，一台机器禁用了tls1.0 的阅读全文

posted @ 2021-06-30 22:48 荣锋亮阅读(125) 评论(0) 推荐(0)

使用sbt-native-packager 构建通用的scala 软件包

摘要： sbt-native-packager 是一个通用的scala 应用打包扩展，支持了多种模式的软件构建支持的包模式参考架构使用使用很简单，主要是添加配置，使用命令构建就可以了添加插件 addSbtPlugin("com.typesafe.sbt" % "sbt-native-package 阅读全文

posted @ 2021-06-27 20:28 荣锋亮阅读(294) 评论(0) 推荐(0)

scala 扩展方法学习

摘要： scala 的扩展方法很强大，类似C# 提供的扩展方法能力，基于scala 的扩展方法我们可以方便的开发一个dsl 模型比如以下就是基于implicit 实现一个简单的字符串转为自定义任务的处理参考代码 package com.dalongdemo object DSL extends App{ 阅读全文

posted @ 2021-06-27 20:12 荣锋亮阅读(195) 评论(0) 推荐(0)

dremio 几个方便的命令

摘要： dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET 阅读全文

posted @ 2021-06-25 19:24 荣锋亮阅读(365) 评论(0) 推荐(0)

delta lake minio+dremio 集成试用

摘要：参考集成模式环境准备基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh 阅读全文

posted @ 2021-06-24 20:38 荣锋亮阅读(1047) 评论(5) 推荐(0)

导航

公告