荣锋亮 - 博客园

dremio 反射支持小于小时的处理

摘要：问题默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的配置。。。解决方法添加支持key 同时修改ui，ui 的修阅读全文

posted @ 2021-09-05 00:45 荣锋亮阅读(115) 评论(0) 推荐(0)

修改java jar内容的方法

摘要：操作流程当然命令是很多的，windows 的使用zip 以及winrar 都是可以的，linux 以及mac 命令就比较多了解压解压方法 unzip <name>.jar 重新压缩压缩, zip -q -r <name>.jar . 说明当然直接基于jar 命令也是可以进行操作的参考命令阅读全文

posted @ 2021-09-04 14:28 荣锋亮阅读(626) 评论(0) 推荐(0)

基于minfs 的静态网站部署模式

摘要：参考图说明主要是基于minfs 挂载s3 bucket，构建的代码可以直接到linux 直接（挂载s3的数据目录），同时为了方便维护，我们也可以直接到s3（数据直接到s3），以上是集成了多种模式的，从机制上都是到s3，但是为了简化大家的使用，将s3挂载为文件系统会保持现有系统业务使用的一致性，当阅读全文

posted @ 2021-09-04 13:36 荣锋亮阅读(310) 评论(0) 推荐(0)

minfs 简单介绍

摘要：以前也介绍过minfs 的使用，但是当时miniofs 有一段时间是被直接项目归档了（当时应该是不推荐使用），但是最近的查看官方有开启了，理论上就是可以使用的，以前使用s3-fuse 比较多，实际山基于golang 编写的minfs 是更好的选择（运行简单）功能说明 minfs 使用了blotdb 阅读全文

posted @ 2021-09-04 12:12 荣锋亮阅读(740) 评论(0) 推荐(0)

几个不错的s3 压力测试工具

摘要：整理了一些s3 压力测试的工具,参考资料包含了完整的连接，但是比较推荐的是使用minio的warp（分布式，强大） warp 分布式测试架构参考使用混合模式（单机） warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr 阅读全文

posted @ 2021-09-04 11:59 荣锋亮阅读(2943) 评论(0) 推荐(1)

通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

摘要：一个实际存在的问题，dremio 新版本禁用了create table 的能力（直接写入数据到外部文件系统中）比如s3，通过反编译查看官方的源码解决方式是通过jsonignore 解决的，那么问题就简单了，可以反编译源码，删除注解，重新打包就可以了，同时还需要修改下plugin 的配置文件，但是阅读全文

posted @ 2021-09-03 23:57 荣锋亮阅读(113) 评论(0) 推荐(1)

dremio 17 混合类型的问题

摘要：混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明参考解决方法禁用基于support keystore.disable.mixed_types 参考解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的）说明 dremio 18 也阅读全文

posted @ 2021-09-03 22:51 荣锋亮阅读(64) 评论(0) 推荐(0)

jackson jsonlines 处理-读取以及生成

摘要： jsonlines 在数据分析处理以及批量json 处理中是比较常用的，以下是基于jackson 的处理场景说明基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

posted @ 2021-09-03 13:08 荣锋亮阅读(669) 评论(0) 推荐(0)

dremio 18 预览版发布了

摘要： dremio 最近发布了18 预览版，好多新的特性，不好的地方是暂时还没有提供软件包参考的新特性近实时的反射元数据刷新近实时的元数据刷新新的job 历史以及详情界面（具体还要看官方的软件包了，暂时还没提供）新的查询可视化器（需要等待发版体验）混合类型移除（需要自己手工处理，目前17就有这阅读全文

posted @ 2021-09-03 09:27 荣锋亮阅读(65) 评论(0) 推荐(0)

xxljob ha 参考配置以及使用说明

摘要：官方已经明确了调度中心的ha部署说明 db 配置一样集群机器时间一致基于nginx 进行la以及使用域名，对于执行器以及api的访问都走域名（lb ip）参考环境部署基于docker-compose 运行 docker-compose 文件 version: "3" services: in 阅读全文

posted @ 2021-09-02 21:34 荣锋亮阅读(655) 评论(0) 推荐(0)

xxljob 基于api 添加job

摘要：目前官方没有直接提供类似执行器那种能力，如果需要动态创建job 有几种解决方法解决方法修改官方的admin 代码暴露类似admin 的能力基于官方web的api 进行操作直接基于数据库操作（可行，而且更加简单）以下说明基于官方的web api 的操作说明参考代码就有okhttp3,操作阅读全文

posted @ 2021-09-02 21:27 荣锋亮阅读(3489) 评论(0) 推荐(0)

minio来自官方的内核优化参数

摘要：内容来自github，还是比较有意义的参考 #!/bin/bash cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 # use as little s 阅读全文

posted @ 2021-09-01 23:51 荣锋亮阅读(2237) 评论(0) 推荐(0)

minio 集成webhook 事件通知

摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮阅读(2389) 评论(0) 推荐(0)

excel 到dremio 查询处理

摘要：参考解决方案原理说明用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析环境阅读全文

posted @ 2021-09-01 21:41 荣锋亮阅读(163) 评论(0) 推荐(0)

OpenMetadata 开放标准的元数据服务

摘要： OpenMetadata 是一个开放标准的元数据服务，可以在一个地方实现数据的发现，协作包含的组件元数据schema 元数据存储元数据api 数据进入框架（插件化的框架支持多种数据库）元数据界面一张官方的参考图说明 OpenMetadata 很多地方是依赖了json schema，同时目阅读全文

posted @ 2021-08-29 23:16 荣锋亮阅读(1633) 评论(0) 推荐(0)

xxljob 学习

摘要：参考架构环境准备 docker-compose version: "3" services: job: image: xuxueli/xxl-job-admin:2.3.0 ports: - "8080:8080" volumes: - "./tmp:/data/applogs" - "./app 阅读全文

posted @ 2021-08-29 21:27 荣锋亮阅读(222) 评论(0) 推荐(1)

easy-rules facts 添加扩展数据

摘要：一个很常见的场景，我们希望在easy-rules 的facts 中添加一些扩展数据（比如json）但是因为默认facts 是会进行数据转map的，很多时候可能不会产生我们希望的结果解决方法包装一个新的对象，在执行rule 的时候在facts 传递一个初始对象，然后就可以使用引用的模式使用数据了阅读全文

posted @ 2021-08-28 23:52 荣锋亮阅读(770) 评论(0) 推荐(0)

easy-rules-centraldogma-spring-boot-starter 引入外部rule

摘要： easy-rules-centraldogma-spring-boot-starter 当前是基于json 以及只支持spel 格式的解析的如果我们需要添加其他格式的，当前只直接不能支持的，但是也可以使用其他模式解决解决方法自己定义rule，添加到starter提供的bean 中参考代码 r 阅读全文

posted @ 2021-08-28 23:39 荣锋亮阅读(154) 评论(0) 推荐(0)

cube.js 基于queryRewrite 进行安全控制

摘要：基于queryRewrite 我们可以做强大的安全控制，比如基于角色的访问控制以及基于列的访问控制基于角色的访问控制 module.exports = { queryRewrite: (query, { securityContext }) => { if (!securityContext.ro 阅读全文

posted @ 2021-08-24 21:51 荣锋亮阅读(115) 评论(0) 推荐(0)

spring prototype bean 获取处理

摘要：参考链接:http://dolszewski.com/spring/accessing-prototype-bean-in-singleton/amp/ When to use prototype beans? Before we fall into the pitfalls of injectin 阅读全文

posted @ 2021-08-23 22:53 荣锋亮阅读(289) 评论(0) 推荐(0)

基于cloudevents+easy-rules+centraldogma 进行基于规则的业务开发

摘要：主要是一个集成，基于标准的cloudevents 事件数据格式，集成easy-rules 方便的规则处理能力加速复杂业务处理利用centraldogma强大的配置管理能力，解决规则的实时更新问题，让业务可以直接基于配置规则进行管理调整参考图说明处理流程 client 基于cloudevent 阅读全文

posted @ 2021-08-22 19:37 荣锋亮阅读(395) 评论(0) 推荐(0)

mercurius 基于fastify 的graphql server 以及gateway 服务

摘要： mercurius 是fastify 框架作者开发的graphql 框架支持的特性 cache 查询以及校验通过自动加载解决n+1问题（后边研究下）基于graphql-jit 解决即使编译问题订阅支持支持联邦（很不错的特性）联邦订阅支持支持gateway 模式支持批量查询自定义持久阅读全文

posted @ 2021-08-22 12:23 荣锋亮阅读(202) 评论(0) 推荐(0)

如何测试easy-rules 的spel 表达式

摘要：尽管官方文档没有提供，但是测试用例都是包含了，我们可以直接使用参考示例 @Test public void demo222(){ ParserContext context = new TemplateParserContext("#{","}"); Condition condition = n 阅读全文

posted @ 2021-08-22 12:13 荣锋亮阅读(485) 评论(0) 推荐(0)

easy-rules-centraldogma-spring-boot-starter spel 模版格式说明

摘要：基于模版格式的代码，看着会比较清晰，所以添加了一个新的配置参数template 可以开启此选项参考配置 easyrules: skipOnFirstAppliedRule: false skipOnFirstNonTriggeredRule: false priorityThreshold: 10 阅读全文

posted @ 2021-08-22 11:58 荣锋亮阅读(144) 评论(0) 推荐(0)

easy-rules-centraldogma-spring-boot-starter 使用说明

摘要： easy-rules-centraldogma-spring-boot-starter 是直接利用了centraldogma进行easy-rules 配置规则管理可以方便的多版本以及实时更新问题，利用centraldogma强大的git 能力，可以方便的进行rule 的版本管理，同时centra 阅读全文

posted @ 2021-08-21 20:45 荣锋亮阅读(172) 评论(0) 推荐(0)

wagon maven 通用的artifact 以及repository 模块

摘要：当前支持的扩展参考下图参考架构说明基于此核心模块我们就能开发一个简单的maven repo 私服了参考资料 https://maven.apache.org/wagon/https://maven.apache.org/wagon/wagon-provider-api/apidocs/htt 阅读全文

posted @ 2021-08-21 19:35 荣锋亮阅读(214) 评论(0) 推荐(0)

使用centraldogma 作为easy-rules spring boot starter的规则存储

摘要： centraldogma 前边有介绍过，同时也说明过部署以及使用，以下是基于centraldogma 扩展easy-rules 的spring boot starter 方便快捷的支持rule 的修改以及实时更新，代码已经push github了，可以参考使用开发流程借鉴了以前easy-rule 阅读全文

posted @ 2021-08-21 09:25 荣锋亮阅读(258) 评论(0) 推荐(0)

spring boot fat jar 引入新的jar 文件到classpath

摘要： bootstrap classpath 参考说明 -Xbootclasspath: 完全取代基本核心的Java class 搜索路径.不常用,否则要重新写所有Java 核心class -Xbootclasspath/a: 后缀。将classpath添加在核心class搜索路径后面。常用!! -Xbo 阅读全文

posted @ 2021-08-16 21:43 荣锋亮阅读(557) 评论(0) 推荐(0)

nicolaka/netshoot 强大的容器网络问题解决工具

摘要： nicolaka/netshoot 实际上是一个工具集提供了好多方便的网络问题解决工具，可以加速我们对于日常docker 以及k8s 网络问题的解决说明 github 也提供了比较多的文档说明，实际上nicolaka/netshoot 更多是工具的集成，但是可以加速我们日常问题的解决参考资料 h 阅读全文

posted @ 2021-08-14 20:43 荣锋亮阅读(711) 评论(0) 推荐(0)

使用nsenter 解决tcpcollect容器网络捕捉问题

摘要：属于一个实际的问题，因为mysql 基于容器运行，但是需要实时追踪mysql 的执行情况，tcpcollect 是一个特别好的选择一些问题因为容器隔离的特性造成我们捕捉的流量会有问题，无法完整的捕捉mysql 的请求解决方法此时我们可以直接基于nsenter 直接挂载容器网络namespac 阅读全文

posted @ 2021-08-14 10:01 荣锋亮阅读(93) 评论(0) 推荐(0)

centraldogma git 镜像配置

摘要： git 镜像的场景主要是将git repo 同步到centraldogma 中，配置还是比较简单的，主要是关于定时任务，centraldogma repo 关联，账户信息参考运行 centraldogma 环境 version: "3" services: app: image: line/cen 阅读全文

posted @ 2021-08-12 22:49 荣锋亮阅读(218) 评论(0) 推荐(0)

jmespath java 使用

摘要：日常中我们经常需要进行json 数据类型的处理，jmespath 是一个很不错的选择，简单强大，以下是关于java代码集成的使用（一个简单示例，进行multiselect 的处理）参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文

posted @ 2021-08-11 23:14 荣锋亮阅读(949) 评论(0) 推荐(0)

使用apicurio-registry 管理schema

摘要： apicurio-registry 是一个很不错的schema 管理工具，可以方便的支持多种数据schema 的版本管理，可以方便实现共享（api 设计以及面向消息驱动的架构应该会比较好）参考运行 docker 运行 docker run -d -p 8080:8080 apicurio/api 阅读全文

posted @ 2021-08-10 23:47 荣锋亮阅读(621) 评论(0) 推荐(0)

bfe 简单学习示例

摘要： bfe 参考架构 bfe 参考回调点安装下载对应平台的软件包，解压即可流程注意因为配置是json 格式，所以关于json 注释的信息都应该删除，否则配置会有问题基本配置 conf/bfe.conf hostRuleConf = server_data_conf/host_rule.data 阅读全文

posted @ 2021-08-10 13:07 荣锋亮阅读(451) 评论(0) 推荐(0)

prefect 新的开源工作流管理系统

摘要： prefect 主要是用来进行数据的工作流管理系统，而且prefect 团队开源了核心工具，而且目前prefect 也提供了比较丰富的工具报（而且支持dremio。。。。）说明 prefect 是一个很不错的基于python 编写的调用工具，很值得学习下，而且dbt 官方也有介绍到参考资料 ht 阅读全文

posted @ 2021-08-09 00:01 荣锋亮阅读(1341) 评论(0) 推荐(0)

apicur 开源api 设计工具集

摘要： apicur 是red hat 开源的api 设计以及管理工具集，包含了studio , registry , data models ,Apicurio 组件说明 studio 支持进行api 设计，可以不用编写代码 registry 运行时schema 以及api 设计的仓储 data mode 阅读全文

posted @ 2021-08-07 22:12 荣锋亮阅读(504) 评论(0) 推荐(0)

hawkular 开源监控组件

摘要：支持的特性联邦通知分布式追踪基于cassandra 的metrics tdsb ManageIQ 支持参考架构包含的组件说明 hawkular 目前发版很慢，基本属于维护状态了，但是设计还是很不错的，很值得研究下参考资料 https://www.hawkular.org/https:/ 阅读全文

posted @ 2021-08-07 21:19 荣锋亮阅读(149) 评论(0) 推荐(0)

cloudevents 学习二 java 代码集成试用

摘要：主要是测试cloudevents 与java 的集成（client 使用nodejs） nodejs client const axios = require("axios").default; const { emitterFor, Mode, HTTP,CloudEvent } = requir 阅读全文

posted @ 2021-08-04 19:39 荣锋亮阅读(888) 评论(0) 推荐(0)

cloudevents 学习一 js sdk 试用

摘要： server package.json { "name": "node", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "axios": "^0.21.1", "body-parser": " 阅读全文

posted @ 2021-08-04 19:37 荣锋亮阅读(178) 评论(0) 推荐(0)

dremio 创建反射的命令

摘要： dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作创建反射原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

posted @ 2021-08-03 20:47 荣锋亮阅读(136) 评论(0) 推荐(0)

导航

公告