荣锋亮 - 博客园

dremio ExecutionPlanCreator 简单说明

摘要： dremio 在进行了一系列的sql 解析，sql 校验，逻辑计划、物理计划之后就需要实际的执行计划生成以及具体的数据处理了 ExecutionPlanCreator 的作用就是进行执行计划的生成，在dremio 中核心是fragment （包含了Major 以及Minor）调用参考如下，由 M 阅读全文

posted @ 2022-12-27 17:39 荣锋亮阅读(84) 评论(0) 推荐(0)

encore 云友好的后端开发框架

摘要： encore 云友好的后端开发框架，将云基础设施的能力直接应用到代码中特性简化微服务开发内置云服务api，包含了数据库，队列，缓存，任务调度内置devops 自动环境提供智能架构图分布式追踪安全管理自动api 文档生成前端clients 说明 encore 基于golang 开发，阅读全文

posted @ 2022-12-25 20:08 荣锋亮阅读(348) 评论(0) 推荐(0)

pg_graphql 1.0 发布了

摘要： pg_graphql是supabse 团队使用pgx 扩展开发的pg graphql 扩展，实际上官方的graphl 支持是演变了好几个版本的，学习下官方博客的演变还是很值得的看看如何进行设计参考资料 https://supabase.com/blog/pg-graphql-v1https://g 阅读全文

posted @ 2022-12-25 19:08 荣锋亮阅读(102) 评论(0) 推荐(0)

dremio 实现官方create user sql 处理的一些说明

摘要：以前我简单说明实际上当时我只是说明了以下简单的思路，最近随着对于dremio 慢慢比较深入的学习，发现直接实现create user sq 似乎并不是一个比较方便的原因传入的参数是QueryContext，此上下文缺少UserService 的暴露参考方法签名 public interface 阅读全文

posted @ 2022-12-25 19:01 荣锋亮阅读(47) 评论(0) 推荐(0)

通过dremio 一个单元测试了解基本查询处理过程

摘要： dremio 属于一个比较复杂的系统，官方有不少模块，官方同时也包含了一个不错的单元测试可以基本了解查询的处理从session到查询，到sql 解析，关系节点转换，逻辑计划器以及物理计划以及执行计划参考代码 public class Limit0LogicalToPhysicalTest ext 阅读全文

posted @ 2022-12-24 13:07 荣锋亮阅读(97) 评论(0) 推荐(0)

hydra snowflake 可选的olap postgres 数据库

摘要： hydra 是基于pg 开发的olap 数据库，官方的说法是snowflake 可选方案，属于一个HTAP 工作负载类型的数据库支持向量化以及列式存储（当然部分还在开发中，还没实现）支持的特性托管pg 数据库 append-only 列存外表 pg 调度并行查询 where 条件向量化执行阅读全文

posted @ 2022-12-18 22:54 荣锋亮阅读(162) 评论(0) 推荐(0)

maven fmpp+javacc 集成使用简单说明

摘要： dremio 以及apache calcite 使用到fmpp + javacc 进行代码生成处理，以下是一个简单的集成测试 fmpp 的作用 fmpp 实际上是包装了freemarker ，提供了cli 以及java api 可以方便的进行模版处理，目前apache calcite 就基于了fmp 阅读全文

posted @ 2022-12-15 17:46 荣锋亮阅读(864) 评论(0) 推荐(0)

maven fmpp 插件开发说明

摘要：实际上已经有几个 fmpp maven 插件，但是不是很好用，dremio 自己包装了一个，然后fork 了dremio fmpp 插件的代码独立包装了一些同时发布到github repo 中，方便使用参考代码 pom.xml <?xml version="1.0" encoding="UTF- 阅读全文

posted @ 2022-12-15 17:40 荣锋亮阅读(266) 评论(0) 推荐(0)

dremio CommandPool简单说明

摘要： CommandPool 实际上是一个线程池的处理，官方实现了好几种线程池主要作用限制并行请求以以及job 的运行定义优先级任务特点任务基于优先级以及提交时间进行自然排序当线程空闲的是否任务会尽快的执行在其他任务需要运行的是否，比较忙碌的线程必须先完成 CommandPool 的注册是由阅读全文

posted @ 2022-12-14 19:34 荣锋亮阅读(69) 评论(0) 推荐(0)

dremio CommandCreator 简单说明

摘要： CommandCreator 主要是基于不同业务规则进行conmandrunner 的生成，以下是一个简单说明 CommandCreator 的作用基于request 创建包装的command 包装多种conmandrunner （基于用户请求类型，包装不同的commandrunner）构建后变阅读全文

posted @ 2022-12-14 19:34 荣锋亮阅读(47) 评论(0) 推荐(0)

idea 自带java 反编译工具问题

摘要：就在最近升级到idea 最新版本，发现以前java-decompiler 命令行工具不能使用了，运行会有错误解决方法找到一个地版本的idea 拷贝java-decompiler.jar 直接替换，或者直接使用低版本的java-decompiler.jar 运行运行命令 java -cp jav 阅读全文

posted @ 2022-12-13 12:03 荣锋亮阅读(882) 评论(0) 推荐(0)

dremio 查看外部profile 信息

摘要： dremio web server 基于了jersey实际包含了比较完备的配置支持（类似spring boot 强大的配置支持一样）同时dremio 也包含了一些测试api 但是默认是关闭的，我们可以通过配置，或者修改代码打开，目前我基于代码进行了修改参考修改的代码 TestResources 阅读全文

posted @ 2022-12-12 12:06 荣锋亮阅读(46) 评论(0) 推荐(0)

使用 dragonflydb 作为godns 的redis 存储

摘要：玩法没变，可以参考我以前写的，主要是调整了redis 为dragonflydb 测试下参考docker-compose 文件 version: "3" services: redis: image: docker.dragonflydb.io/dragonflydb/dragonfly:lates 阅读全文

posted @ 2022-12-11 21:31 荣锋亮阅读(413) 评论(0) 推荐(0)

dremio 23 反射异常问题原因分析简单说明

摘要：通过几天的分析，大致可以确认dremio 23 的问题，应该是一个exception 引起的，以下是通过使用jpropfiler 发现的一个exception 信息现象参考图说明从上图可以看出是一个MatchFailed 的exception 引起的，但是目前没有影响业务，因为异常之后使用了阅读全文

posted @ 2022-12-11 20:27 荣锋亮阅读(73) 评论(0) 推荐(0)

graylog 5.0 发布了

摘要： graylog 5.0 最近ga 发布了，包含了不少新特性（ui 变化，新参考文档）参考运行 docker-compose 文件 version: '3' services: mongo: image: mongo:5.0.13 ports: - 27017:27017 networks: - g 阅读全文

posted @ 2022-12-10 11:49 荣锋亮阅读(693) 评论(0) 推荐(0)

nginx + graylog 对于日志进行管理的一个实践

摘要：以下整理一个自己结合ngin+graylog 进行日志处理的实践，可以参考日志参考玩法参考配置 log format 参考如下，可以配置一些符合自己业务的log format 不同业务配置使用 log_format main '$remote_addr - $remote_user [$time 阅读全文

posted @ 2022-12-09 13:25 荣锋亮阅读(668) 评论(0) 推荐(0)

jib-maven-plugin docker 集成使用简单配置说明

摘要：以下是一个实践，实际自己可以调整开启的功能主要配置了jdwp ，当然这个东西是有安全风险的，对于容器环境，如果没有开启直接外部暴露，就不是问题，但是如果控制不好会有比较大的安全风险参考配置 <plugin> <groupId>com.google.cloud.tools</groupId> < 阅读全文

posted @ 2022-12-08 18:30 荣锋亮阅读(620) 评论(0) 推荐(0)

dremio 23 版本反射加速问题

摘要：问题描述实际上这个问题社区也有不少人反馈了，以前看社区问题的时候没太注意，最近有一个网友也问了类似的问题，在测试了之后发现的确是有问题参考思路此问题实际上影响还是比较大的，官方的一些答复是推荐可以配置日志，看看反射执行的流程目前此问题似乎是查询优化器在处理物化视图的问题，目前还在分析中(大家阅读全文

posted @ 2022-12-07 12:26 荣锋亮阅读(75) 评论(0) 推荐(0)

maven-dependency-plugin unpack 使用

摘要： maven-dependency-plugin 是一个比较有用，但是大家日常使用不是很多的插件，包含的功能解析依赖（显示依赖树，解析依赖的插件） copy 依赖解压copy 依赖（unpack 比如需要部分jar 包中的内容，calcite 扩展开发经常使用到） unpack 简单使用比如我阅读全文

posted @ 2022-12-05 23:35 荣锋亮阅读(827) 评论(0) 推荐(0)

dremio 源码分析学习的几个方便工具二

摘要：主要是在以前周边工具上做一个简单的扩展说明扩展 jdwp 调试可以直接配置dremio 开启jdwp 方便调试，对于依赖的包可以通过dremio 的安装包提供，同时也有一个简单的缺点就是没有源码包可以通过自己构建解决，毕竟dremio 大部分源码是开源的 glowroot glowroot 属阅读全文

posted @ 2022-12-04 20:14 荣锋亮阅读(145) 评论(4) 推荐(0)

使用jdwp 调试dremio

摘要：参考图环境准备核心是对于dremio 启动的时候开启jdwp 协议，对于本地ide 创建一个java maven 项目，添加依赖包（直接本地，添加dremio 安装包里边的jar 就行）我基于容器进行运行配置 /opt/dremio/conf/dremio-env 文件，我同时开启了jpro 阅读全文

posted @ 2022-12-03 22:14 荣锋亮阅读(102) 评论(0) 推荐(0)

dremio 联邦数据源arp 扩展简单说明

摘要： dremio 联邦查询dremio 从代码上没太多高深的东西，实际上也是一个arp 扩展，同时官方做了不少优化核心参考主要是关于arp 扩展的 conf 类 @SourceType( value = "DREMIOTODREMIO", label = "Dremio-to-Dremio (pr 阅读全文

posted @ 2022-12-03 21:38 荣锋亮阅读(107) 评论(0) 推荐(0)

dremio 联邦查询试用

摘要： dremio 23.1 支持dremio 联邦查询了，以下是一个试用说明环境准备 docker-compose 文件 version: "3" services: mongo: image: mongo:4.2 environment: - "MONGO_INITDB_ROOT_USERNAME= 阅读全文

posted @ 2022-12-01 22:32 荣锋亮阅读(103) 评论(0) 推荐(0)

dremio 23.1 发布

摘要：就在今天dremio 23.1 发布了，新功能有一个dremio 联邦查询的很不错，其他主要是一些常见bug 的修复主要新特性 hive 以及glue icege table location 支持 array_contains 函数支持 dremio 联邦数据源 snowflake 新数据源 s 阅读全文

posted @ 2022-12-01 15:23 荣锋亮阅读(51) 评论(0) 推荐(0)

lavinmq & rabbitmq压测对比

摘要：环境准备 docker-compose 文件 version: '3' services: lavinmq: image: cloudamqp/lavinmq:1.0.0-beta.8 volumes: - ./mq:/var/lib/lavinmq ports: - 5672:5672 - 156 阅读全文

posted @ 2022-12-01 12:44 荣锋亮阅读(202) 评论(0) 推荐(0)

使用lavinmq 做为minio amqp 消息服务

摘要：环境准备 docker-compose version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment: MINIO_ACCESS_KEY: minio MINIO_S 阅读全文

posted @ 2022-12-01 12:42 荣锋亮阅读(127) 评论(0) 推荐(0)

使用arrow flight-sql-jdbc-driver 链接dremio

摘要：最近arrow flight-sql-jdbc-driver 发布了，对于dremio 我们直接可以使用flight sql jdbc 驱动链接了，可以极大的提升查询性能（具体性能提升待测试）环境准备 docker-compose 文件 version: "3" services: mongo: 阅读全文

posted @ 2022-12-01 12:32 荣锋亮阅读(582) 评论(0) 推荐(0)

lavinmq cloudamqp 开源的amqp server

摘要： lavinmq 是cloudamqp 基于Crystal 开发的amqp 协议server，目前暂时不吃你集群，但是可以通过federation以及shovel 暂时解决ha 问题 lavinmq 包含的特性持久exchange 较多语言支持（rabbitmq 以及amqp 周边生态）真正开源阅读全文

posted @ 2022-11-29 12:26 荣锋亮阅读(168) 评论(0) 推荐(0)

一些不错的开源内网穿透工具

摘要：整理一些可以支持内网穿透的工具，方便日常使用说明工具仅供参考学习使用参考资料 https://github.com/ffay/lanproxyhttps://github.com/ginuerzh/gosthttps://github.com/fatedier/frphttps://githu 阅读全文

posted @ 2022-11-29 12:10 荣锋亮阅读(537) 评论(0) 推荐(0)

一个历史k8s维护碰到的一些网络问题说明

摘要：最近在处理一个历史k8s 环境的调整，碰到一个问题，整理下 docker 相关 docker 1.12 之后 iptables FORWARD DROP，解决方法是添加iptables -P FORWARD ACCEPT，可以通过systemd 的ExecStartPost 解决，ExecStar 阅读全文

posted @ 2022-11-29 10:39 荣锋亮阅读(96) 评论(0) 推荐(0)

jdwp+rinetd 进行java 容器应用的远程调试

摘要：实际上就是一个玩法，实际上因为jdwp 是基于tcp 协议的，我们可以使用任何合适的tcp lb 工具解决（iptables 也是可以的）只是rinetd 使用起来还是比较简单的，同时包含了一些简单的访问控制还是不错的 jdwp 使用玩法集成参考图环境&测试一个spring boot 应用，启阅读全文

posted @ 2022-11-26 20:26 荣锋亮阅读(116) 评论(0) 推荐(0)

rinetd tcp/udp 端口重定向服务

摘要： rinetd 支持tcp 以及udp 协议的端口重定向，功能还是比较有用的，比如进行一些流量转发，配置上也是比较方便的，同时支持一些简单的访问控制处理构建 git clone https://github.com/samhocevar/rinetd.git cd rinetd ./bootstr 阅读全文

posted @ 2022-11-26 20:14 荣锋亮阅读(269) 评论(0) 推荐(0)

graylog 新版本报警处理

摘要： graylog 的报警编码上并不是很难，核心就是一个job，然后对于event 进行关联聚合查询，之后对于符合规则的event 触发不同的报警规则（邮件，http，遗留模式）几个核心参考类功能 job 定义事件通知job 通知实现聚合消息处理一个问题因为graylog 对于日志处理基于了本阅读全文

posted @ 2022-11-25 00:26 荣锋亮阅读(348) 评论(0) 推荐(0)

parseable datadog &splunk& elk 可选开源方案

摘要： parseable 是基于rust 编写的datadog &splunk& elk 可选开源方案，提供了方便的rest api 能力支持的特性云原生（无状态）开放模式（基于parquet）简单数据访问（/基于sql 兼容的api）部署简单，内置ui 进行日志查看以及可视化 alert 报阅读全文

posted @ 2022-11-24 23:53 荣锋亮阅读(303) 评论(0) 推荐(0)

spring boot 应用 systemd 管理简单说明

摘要：基于systemd 的spring boot 应用管理有一个比较方便的能力，就是不用复杂的java 进程处理了，应用发布只需要进行jar 文件的copy 处理，然后就是服务的重启了systemctl restart <servicename> 应用权限处理 chmod 500 /opt/my-ap 阅读全文

posted @ 2022-11-19 19:51 荣锋亮阅读(214) 评论(0) 推荐(0)

ldap 认证密码为空问题

摘要： ldap 协议使用使用simple 协议同时没有包含密码的情况就会存在自动转换为匿名认证，但是如果同时ad 开启了需要null bind 就会造成木有输入密码也可以认证成功的问题，机制上是协议栈的设计，但是对于如果ad 系统开启了此选项的问题就比较突出了，就会有安全隐患了，具体可以参考以下内容参考阅读全文

posted @ 2022-11-17 13:15 荣锋亮阅读(313) 评论(0) 推荐(0)

rqlite 基于sqlite 的轻量级分布式关系数据库

摘要： rqlite 是基于sqlite 做为存储的分布式关系数据库，对于分布式处理基于了raft 协议包含的特性部署简单使用简单，包含了http api 以及，命令行接口，以及client sdk 完整企业级的sql 数据库，包含了全文检索，以及json 文档支持支持节点服务发现（consul,e 阅读全文

posted @ 2022-11-13 23:31 荣锋亮阅读(1110) 评论(0) 推荐(0)

github codespaces 简单说明

摘要：运行机制我们的codespace 服务是运行在azure 的linux 虚拟机上，里边包含了不少容器运行环境参考流程 github 官方文档包含了一个完整的介绍说明，比如代码clone，linux 主机创建，容器创建，连接codespaces，清理hook 应用运行参考图端口转发云ide 阅读全文

posted @ 2022-11-12 00:06 荣锋亮阅读(507) 评论(0) 推荐(0)

github codespaces 可以使用了

摘要：最近github 的codespaces可以使用了，很方便，实际上就是web 版的vscode，内部应该使用了一个轻量的虚拟机，里边部署了不少工具比如docker，kubectl 说明 github codespaces 值得体验使用了，默认不是root 账户，如果需要使用root 可以通过sudo 阅读全文

posted @ 2022-11-11 23:26 荣锋亮阅读(245) 评论(0) 推荐(0)

parcel segmentation fault 问题以及解决方法

摘要： parcel 是一个很不错的all-in-one 的简单工具，可以方便web 构建，因为使用mac 构建没有发现问题，但是在linux 上运行的时候发现是有问题的，出现了段错误问题，尝试了几种解决方法（升级npm 、node，yarn 版本）但是都没有解决，同时尝试使用了 strace 信息如下阅读全文

posted @ 2022-11-11 21:33 荣锋亮阅读(240) 评论(0) 推荐(0)

导航

公告