上一页 1 ··· 51 52 53 54 55 56 57 58 59 ··· 133 下一页

2021年9月5日

dremio 反射支持小于小时的处理

摘要: 问题 默认dremio 社区版支持的数据反射最小是1小时,实际中很多是不太方便的,官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写,同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui,ui 的修 阅读全文

posted @ 2021-09-05 00:45 荣锋亮 阅读(115) 评论(0) 推荐(0)

2021年9月4日

修改java jar内容的方法

摘要: 操作流程 当然命令是很多的,windows 的使用zip 以及winrar 都是可以的,linux 以及mac 命令就比较多了 解压 解压方法 unzip <name>.jar 重新压缩 压缩, zip -q -r <name>.jar . 说明 当然直接基于jar 命令也是可以进行操作的 参考命令 阅读全文

posted @ 2021-09-04 14:28 荣锋亮 阅读(626) 评论(0) 推荐(0)

基于minfs 的静态网站部署模式

摘要: 参考图 说明 主要是基于minfs 挂载s3 bucket,构建的代码可以直接到linux 直接(挂载s3的数据目录),同时为了方便维护,我们也可以直接到s3(数据直接到s3),以上是集成了多种模式的,从机制上都是到s3,但是为了简化大家的使用,将s3挂载为文件系统会保持现有系统业务使用的一致性,当 阅读全文

posted @ 2021-09-04 13:36 荣锋亮 阅读(310) 评论(0) 推荐(0)

minfs 简单介绍

摘要: 以前也介绍过minfs 的使用,但是当时miniofs 有一段时间是被直接项目归档了(当时应该是不推荐使用),但是最近的查看官方有开启了,理论上就是可以使用的,以前使用s3-fuse 比较多,实际山基于golang 编写的minfs 是更好的选择(运行简单) 功能说明 minfs 使用了blotdb 阅读全文

posted @ 2021-09-04 12:12 荣锋亮 阅读(740) 评论(0) 推荐(0)

几个不错的s3 压力测试工具

摘要: 整理了一些s3 压力测试的工具,参考资料包含了完整的连接,但是比较推荐的是使用minio的warp(分布式,强大) warp 分布式测试架构 参考使用 混合模式(单机) warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr 阅读全文

posted @ 2021-09-04 11:59 荣锋亮 阅读(2943) 评论(0) 推荐(1)

2021年9月3日

通过字节码修改解决dremio 17 以及以上版本s3 plugin 不能create table 问题

摘要: 一个实际存在的问题,dremio 新版本禁用了create table 的能力(直接写入数据到外部文件系统中) 比如s3,通过反编译查看官方的源码解决方式是通过jsonignore 解决的,那么问题就简单了,可以反编译 源码,删除注解,重新打包就可以了,同时还需要修改下plugin 的配置文件,但是 阅读全文

posted @ 2021-09-03 23:57 荣锋亮 阅读(113) 评论(0) 推荐(1)

dremio 17 混合类型的问题

摘要: 混合类型在dremio17 是一个比较费事问题,增加了代码处理,实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化(目前ui是有一些bug 的,但是还是可以使用的) 说明 dremio 18 也 阅读全文

posted @ 2021-09-03 22:51 荣锋亮 阅读(64) 评论(0) 推荐(0)

jackson jsonlines 处理-读取以及生成

摘要: jsonlines 在数据分析处理以及批量json 处理中是比较常用的,以下是基于jackson 的处理 场景说明 基于jackson 读取以及生成jsonlines 参考代码 jsonlines 格式 {"0":"ddd","1":"11","2":"111","3":"111"} {"0":"d 阅读全文

posted @ 2021-09-03 13:08 荣锋亮 阅读(669) 评论(0) 推荐(0)

dremio 18 预览版发布了

摘要: dremio 最近发布了18 预览版,好多新的特性,不好的地方是暂时还没有提供软件包 参考的新特性 近实时的反射元数据刷新 近实时的元数据刷新 新的job 历史以及详情界面(具体还要看官方的软件包了,暂时还没提供) 新的查询可视化器(需要等待发版体验) 混合类型移除(需要自己手工处理,目前17就有这 阅读全文

posted @ 2021-09-03 09:27 荣锋亮 阅读(65) 评论(0) 推荐(0)

2021年9月2日

xxljob ha 参考配置以及使用说明

摘要: 官方已经明确了调度中心的ha部署说明 db 配置一样 集群机器时间一致 基于nginx 进行la以及使用域名,对于执行器以及api的访问都走域名(lb ip) 参考环境部署 基于docker-compose 运行 docker-compose 文件 version: "3" services: in 阅读全文

posted @ 2021-09-02 21:34 荣锋亮 阅读(655) 评论(0) 推荐(0)

xxljob 基于api 添加job

摘要: 目前官方没有直接提供类似执行器那种能力,如果需要动态创建job 有几种解决方法 解决方法 修改官方的admin 代码暴露类似admin 的能力 基于官方web的api 进行操作 直接基于数据库操作(可行,而且更加简单) 以下说明基于官方的web api 的操作说明 参考代码 就有okhttp3,操作 阅读全文

posted @ 2021-09-02 21:27 荣锋亮 阅读(3489) 评论(0) 推荐(0)

2021年9月1日

minio来自官方的内核优化参数

摘要: 内容来自github,还是比较有意义的 参考 #!/bin/bash ​ cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 ​ # use as little s 阅读全文

posted @ 2021-09-01 23:51 荣锋亮 阅读(2237) 评论(0) 推荐(0)

minio 集成webhook 事件通知

摘要: 以前有写过关于minio 的通知事件的,但是是基于kafka 的,而且时间已经很长了,以下是基于新版本minio 的一个demo 集成的webhook,同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮 阅读(2389) 评论(0) 推荐(0)

excel 到dremio 查询处理

摘要: 参考解决方案 原理说明 用户通过rest api 请求上传excel 文件,可以存储到s3中,然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines,parquet。。。同时基于dremio直接查询s3的能力,方便的进行业务分析 环境 阅读全文

posted @ 2021-09-01 21:41 荣锋亮 阅读(163) 评论(0) 推荐(0)

2021年8月29日

OpenMetadata 开放标准的元数据服务

摘要: OpenMetadata 是一个开放标准的元数据服务,可以在一个地方实现数据的发现,协作 包含的组件 元数据schema 元数据存储 元数据api 数据进入框架(插件化的框架支持多种数据库) 元数据界面 一张官方的参考图 说明 OpenMetadata 很多地方是依赖了json schema,同时目 阅读全文

posted @ 2021-08-29 23:16 荣锋亮 阅读(1633) 评论(0) 推荐(0)

xxljob 学习

摘要: 参考架构 环境准备 docker-compose version: "3" services: job: image: xuxueli/xxl-job-admin:2.3.0 ports: - "8080:8080" volumes: - "./tmp:/data/applogs" - "./app 阅读全文

posted @ 2021-08-29 21:27 荣锋亮 阅读(222) 评论(0) 推荐(1)

2021年8月28日

easy-rules facts 添加扩展数据

摘要: 一个很常见的场景,我们希望在easy-rules 的facts 中添加一些扩展数据(比如json) 但是因为默认facts 是会进行数据转map的,很多时候可能不会产生我们希望的结果 解决方法 包装一个新的对象,在执行rule 的时候在facts 传递一个初始对象,然后就可以使用引用的模式使用数据了 阅读全文

posted @ 2021-08-28 23:52 荣锋亮 阅读(770) 评论(0) 推荐(0)

easy-rules-centraldogma-spring-boot-starter 引入外部rule

摘要: easy-rules-centraldogma-spring-boot-starter 当前是基于json 以及只支持spel 格式的解析的 如果我们需要添加其他格式的,当前只直接不能支持的,但是也可以使用其他模式解决 解决方法 自己定义rule,添加到starter提供的bean 中 参考代码 r 阅读全文

posted @ 2021-08-28 23:39 荣锋亮 阅读(154) 评论(0) 推荐(0)

2021年8月24日

cube.js 基于queryRewrite 进行安全控制

摘要: 基于queryRewrite 我们可以做强大的安全控制,比如基于角色的访问控制以及基于列的访问控制 基于角色的访问控制 module.exports = { queryRewrite: (query, { securityContext }) => { if (!securityContext.ro 阅读全文

posted @ 2021-08-24 21:51 荣锋亮 阅读(115) 评论(0) 推荐(0)

2021年8月23日

spring prototype bean 获取处理

摘要: 参考链接:http://dolszewski.com/spring/accessing-prototype-bean-in-singleton/amp/ When to use prototype beans? Before we fall into the pitfalls of injectin 阅读全文

posted @ 2021-08-23 22:53 荣锋亮 阅读(289) 评论(0) 推荐(0)

2021年8月22日

基于cloudevents+easy-rules+centraldogma 进行基于规则的业务开发

摘要: 主要是一个集成,基于标准的cloudevents 事件数据格式,集成easy-rules 方便的规则处理能力加速复杂业务处理利用centraldogma强大的配置管理能力,解决规则的实时更新问题,让业务可以直接基于配置规则进行管理调整 参考图 说明 处理流程 client 基于cloudevent 阅读全文

posted @ 2021-08-22 19:37 荣锋亮 阅读(395) 评论(0) 推荐(0)

mercurius 基于fastify 的graphql server 以及gateway 服务

摘要: mercurius 是fastify 框架作者开发的graphql 框架 支持的特性 cache 查询以及校验 通过自动加载解决n+1问题(后边研究下) 基于graphql-jit 解决即使编译问题 订阅支持 支持联邦(很不错的特性) 联邦订阅支持 支持gateway 模式 支持批量查询 自定义持久 阅读全文

posted @ 2021-08-22 12:23 荣锋亮 阅读(202) 评论(0) 推荐(0)

如何测试easy-rules 的spel 表达式

摘要: 尽管官方文档没有提供,但是测试用例都是包含了,我们可以直接使用 参考示例 @Test public void demo222(){ ParserContext context = new TemplateParserContext("#{","}"); Condition condition = n 阅读全文

posted @ 2021-08-22 12:13 荣锋亮 阅读(485) 评论(0) 推荐(0)

easy-rules-centraldogma-spring-boot-starter spel 模版格式说明

摘要: 基于模版格式的代码,看着会比较清晰,所以添加了一个新的配置参数template 可以开启此选项 参考配置 easyrules: skipOnFirstAppliedRule: false skipOnFirstNonTriggeredRule: false priorityThreshold: 10 阅读全文

posted @ 2021-08-22 11:58 荣锋亮 阅读(144) 评论(0) 推荐(0)

2021年8月21日

easy-rules-centraldogma-spring-boot-starter 使用说明

摘要: easy-rules-centraldogma-spring-boot-starter 是直接利用了centraldogma进行easy-rules 配置规则管理 可以方便的多版本以及实时更新问题,利用centraldogma强大的git 能力,可以方便的进行rule 的版本管 理,同时centra 阅读全文

posted @ 2021-08-21 20:45 荣锋亮 阅读(172) 评论(0) 推荐(0)

wagon maven 通用的artifact 以及repository 模块

摘要: 当前支持的扩展参考下图 参考架构 说明 基于此核心模块我们就能开发一个简单的maven repo 私服了 参考资料 https://maven.apache.org/wagon/https://maven.apache.org/wagon/wagon-provider-api/apidocs/htt 阅读全文

posted @ 2021-08-21 19:35 荣锋亮 阅读(214) 评论(0) 推荐(0)

使用centraldogma 作为easy-rules spring boot starter的规则存储

摘要: centraldogma 前边有介绍过,同时也说明过部署以及使用,以下是基于centraldogma 扩展easy-rules 的spring boot starter 方便快捷的支持rule 的修改以及实时更新,代码已经push github了,可以参考使用 开发流程 借鉴了以前easy-rule 阅读全文

posted @ 2021-08-21 09:25 荣锋亮 阅读(258) 评论(0) 推荐(0)

2021年8月16日

spring boot fat jar 引入新的jar 文件到classpath

摘要: bootstrap classpath 参考说明 -Xbootclasspath: 完全取代基本核心的Java class 搜索路径.不常用,否则要重新写所有Java 核心class -Xbootclasspath/a: 后缀。将classpath添加在核心class搜索路径后面。常用!! -Xbo 阅读全文

posted @ 2021-08-16 21:43 荣锋亮 阅读(557) 评论(0) 推荐(0)

2021年8月14日

nicolaka/netshoot 强大的容器网络问题解决工具

摘要: nicolaka/netshoot 实际上是一个工具集提供了好多方便的网络问题解决工具,可以加速我们对于日常docker 以及k8s 网络问题的解决 说明 github 也提供了比较多的文档说明,实际上nicolaka/netshoot 更多是工具的集成,但是可以加速我们日常问题的解决 参考资料 h 阅读全文

posted @ 2021-08-14 20:43 荣锋亮 阅读(711) 评论(0) 推荐(0)

使用nsenter 解决tcpcollect容器网络捕捉问题

摘要: 属于一个实际的问题,因为mysql 基于容器运行,但是需要实时追踪mysql 的执行情况,tcpcollect 是一个特别好的选择 一些问题 因为容器隔离的特性造成我们捕捉的流量会有问题,无法完整的捕捉mysql 的请求 解决方法 此时我们可以直接基于nsenter 直接挂载容器网络namespac 阅读全文

posted @ 2021-08-14 10:01 荣锋亮 阅读(93) 评论(0) 推荐(0)

2021年8月12日

centraldogma git 镜像配置

摘要: git 镜像的场景主要是将git repo 同步到centraldogma 中,配置还是比较简单的,主要是关于定时任务,centraldogma repo 关联,账户信息 参考运行 centraldogma 环境 version: "3" services: app: image: line/cen 阅读全文

posted @ 2021-08-12 22:49 荣锋亮 阅读(218) 评论(0) 推荐(0)

2021年8月11日

jmespath java 使用

摘要: 日常中我们经常需要进行json 数据类型的处理,jmespath 是一个很不错的选择,简单强大,以下是关于java代码 集成的使用(一个简单示例,进行multiselect 的处理) 参考使用 pom.xml <?xml version="1.0" encoding="UTF-8"?> <proje 阅读全文

posted @ 2021-08-11 23:14 荣锋亮 阅读(949) 评论(0) 推荐(0)

2021年8月10日

使用apicurio-registry 管理schema

摘要: apicurio-registry 是一个很不错的schema 管理工具,可以方便的支持多种数据schema 的版本管理,可以方便 实现共享(api 设计以及面向消息驱动的架构应该会比较好) 参考运行 docker 运行 docker run -d -p 8080:8080 apicurio/api 阅读全文

posted @ 2021-08-10 23:47 荣锋亮 阅读(621) 评论(0) 推荐(0)

bfe 简单学习示例

摘要: bfe 参考架构 bfe 参考回调点 安装 下载对应平台的软件包,解压即可 流程 注意因为配置是json 格式,所以关于json 注释的信息都应该删除,否则配置会有问题 基本配置 conf/bfe.conf hostRuleConf = server_data_conf/host_rule.data 阅读全文

posted @ 2021-08-10 13:07 荣锋亮 阅读(451) 评论(0) 推荐(0)

2021年8月9日

prefect 新的开源工作流管理系统

摘要: prefect 主要是用来进行数据的工作流管理系统,而且prefect 团队开源了核心工具,而且目前prefect 也提供了比较丰富的工具报(而且支持dremio。。。。) 说明 prefect 是一个很不错的基于python 编写的调用工具,很值得学习下,而且dbt 官方也有介绍到 参考资料 ht 阅读全文

posted @ 2021-08-09 00:01 荣锋亮 阅读(1341) 评论(0) 推荐(0)

2021年8月7日

apicur 开源api 设计工具集

摘要: apicur 是red hat 开源的api 设计以及管理工具集,包含了studio , registry , data models ,Apicurio 组件说明 studio 支持进行api 设计,可以不用编写代码 registry 运行时schema 以及api 设计的仓储 data mode 阅读全文

posted @ 2021-08-07 22:12 荣锋亮 阅读(504) 评论(0) 推荐(0)

hawkular 开源监控组件

摘要: 支持的特性 联邦通知 分布式追踪 基于cassandra 的metrics tdsb ManageIQ 支持 参考架构 包含的组件 说明 hawkular 目前发版很慢,基本属于维护状态了,但是设计还是很不错的,很值得研究下 参考资料 https://www.hawkular.org/https:/ 阅读全文

posted @ 2021-08-07 21:19 荣锋亮 阅读(149) 评论(0) 推荐(0)

2021年8月4日

cloudevents 学习二 java 代码集成试用

摘要: 主要是测试cloudevents 与java 的集成(client 使用nodejs) nodejs client const axios = require("axios").default; const { emitterFor, Mode, HTTP,CloudEvent } = requir 阅读全文

posted @ 2021-08-04 19:39 荣锋亮 阅读(888) 评论(0) 推荐(0)

cloudevents 学习一 js sdk 试用

摘要: server package.json { "name": "node", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencies": { "axios": "^0.21.1", "body-parser": " 阅读全文

posted @ 2021-08-04 19:37 荣锋亮 阅读(178) 评论(0) 推荐(0)

2021年8月3日

dremio 创建反射的命令

摘要: dremio 官方提供了不只是基于ui 的反射操作,同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field 阅读全文

posted @ 2021-08-03 20:47 荣锋亮 阅读(136) 评论(0) 推荐(0)

上一页 1 ··· 51 52 53 54 55 56 57 58 59 ··· 133 下一页

导航