荣锋亮 - 博客园

dremio 异步读取但是没开启cache 的处理

摘要： dremio 对于文件系统支持异步读以及cache 处理，对于cache 的处理只有在开启异步读的时候参考配置开启异步数据访问 cache 配置内部处理实际上都使用的是ce cache 包中的，getAsyncByteReader 的调用，此方法是标准FileSystem的一个方法 File 阅读全文

posted @ 2024-03-28 08:00 荣锋亮阅读(36) 评论(0) 推荐(0)

dremio QueryContext 简单说明

摘要： QueryContext 包含了查询相关的一些信息，官方代码注释说应该重名为PlanningContext，主要是在fragment contexts 中使用接口扩展如下图，实现了ResourceSchedulingContext以及OptimizerRulesContext 主要实例化的地方阅读全文

posted @ 2024-03-27 08:00 荣锋亮阅读(36) 评论(0) 推荐(0)

jinja2 通过Template. make_module 进行动态macro 创建以及macro 方法调用

摘要：实际属于一个小技巧，可以实现比较灵活的jinja2 扩展，是从dbt 对于macro 的处理部分学习到的参考代码 app.py from jinja2 import Environment env = Environment() # 定义macro 的内容 macro_template = """ 阅读全文

posted @ 2024-03-26 15:26 荣锋亮阅读(64) 评论(0) 推荐(0)

jinja2 实现return macro

摘要：设计上来自dbt 的return macro，实际上就是一个macro 会触发一个exception 我们对于这个exception 单独捕获处理下 returnmacro 函数开发 return_macro 函数定义 def return_macro(values): raise MacroRe 阅读全文

posted @ 2024-03-26 15:24 荣锋亮阅读(45) 评论(0) 推荐(0)

dbt return macro 内部实现简单说明

摘要： jinja2 默认是没有return macro 的，dbt 在实现的时候比较有意思，通过一个exception 触发的，以下是简单说明参考使用一个包含return 的macro {% macro demoapp(name,version) %} {% if version =='v1' %} 阅读全文

posted @ 2024-03-26 15:24 荣锋亮阅读(34) 评论(0) 推荐(0)

cloudquery 开源ETL 框架

摘要： cloudquery 开源ETL 框架提供了基于plugin 的数据集成模式包含的特性开源，提供了sdk 快速，基于golang 轻量级协程,基于apache arrow 部署方便，就是一个独一的二进制文件可扩展，cloudquery plugin 是无状态的，可以方便的扩展说明 cloud 阅读全文

posted @ 2024-03-26 15:24 荣锋亮阅读(249) 评论(0) 推荐(0)

minio XLDIR 后缀文件夹问题

摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ）参考图问题目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大阅读全文

posted @ 2024-03-26 08:00 荣锋亮阅读(192) 评论(0) 推荐(0)

dremio ce kernel 提供的一些配置类

摘要： dremio ce kernel 包提供了不少对于dremio的扩展类，比如规则，parquet 读取，以及反射处理的，以下是一个简单说明参考配置标准的sabot-module.conf 文件 dremio: { classpath.scanning { packages += "com.dre 阅读全文

posted @ 2024-03-25 08:00 荣锋亮阅读(25) 评论(0) 推荐(0)

dremio cloud cache 简单说明(二)

摘要：以前我介绍过关于cache 的CacheFileSystemWrapper，以下说明下关于cache 缓存以及加载的处理参考配置主要是在executor 节点的 services: { coordinator.enabled: false, coordinator.master.enabled: 阅读全文

posted @ 2024-03-24 08:00 荣锋亮阅读(66) 评论(0) 推荐(0)

dremio AsyncStreamConf 简单说明

摘要： AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置，dremio 存储扩展不少都实现了此接口参考实现使用的地方整体使用存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 ce CacheFileSystemWrapper 的使用这个是d 阅读全文

posted @ 2024-03-23 08:39 荣锋亮阅读(27) 评论(0) 推荐(0)

dremio 官方对于软件版ha 以及扩展部署的参考方案

摘要：关于dremio 实际大规模部署的记录，内容来自官方文档 dremio 组件架构参考图此图包含了dremio 的ha 以及扩展，包含了主备Coordinator（故障转移的）提高查询性能的Coordinator，以及进行实际查询的执行器此部署中依赖lb，共享存储（nfs 类的），zk （协调选举阅读全文

posted @ 2024-03-22 09:28 荣锋亮阅读(75) 评论(0) 推荐(0)

aiohttp unix socket 启动简单说明

摘要： aiohttp 官方推荐了不少部署模式，以下是关于unix socket 部署的简单说明参考配置 web.py from aiohttp import web import argparse parser = argparse.ArgumentParser(description="aiohttp 阅读全文

posted @ 2024-03-22 08:24 荣锋亮阅读(61) 评论(0) 推荐(0)

soda-data dremio 集成使用

摘要：以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包阅读全文

posted @ 2024-03-22 08:00 荣锋亮阅读(101) 评论(0) 推荐(0)

soda 数据质量测试工具

摘要： soda 数据质量测试工具,可以方便的集成到ci/cd 中，同时支持的数据库也不少，soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测（也支持输出数据格式为json，方便分析）说明 soda 同时也提供了data contract 的支持，对阅读全文

posted @ 2024-03-21 08:00 荣锋亮阅读(185) 评论(0) 推荐(0)

dremio 自定义登陆以及简单sso

摘要：一个简单的dremio 集成自己外部登陆的，处理方法是通过nginx 进行proxy 同时开发自己的login 服务，此服务调用的dremio login api 对于自己的登陆页面调用自己开发的login api，然后将登陆信息写入到localstorage 中，之后进行一个dremio ngin 阅读全文

posted @ 2024-03-20 12:26 荣锋亮阅读(128) 评论(0) 推荐(0)

dremio python odbc & pandas 集成示例代码

摘要：主要是一个记录，方便后续使用参考代码代码 import pyodbc import pandas host = "localhost" port = "32010" user = "admin" password = "admin123" ssl = "false" schema = "s3v2 阅读全文

posted @ 2024-03-20 08:00 荣锋亮阅读(88) 评论(0) 推荐(0)

maven plugin debug 简单说明

摘要：有些时候我们希望对于maven plugin 进行调试（可能有bug），以下是一些简单说明玩法使用mvnDebug 直接替换mvn clone 或者将maven plugin 的jar 放到项目的classpath 中添加remote jvm debug 并配置地址为mvnDebug提供的地址阅读全文

posted @ 2024-03-19 08:01 荣锋亮阅读(245) 评论(0) 推荐(0)

dremio SplitOrphansCleanerService 简单说明

摘要： SplitOrphansCleanerService 目前主要是清理一些孤立的split 服务(主要是对于namespaceservice) SplitOrphansCleanerService创建 DACDaemonModule 中，可以看出是分布式master 角色启动的（实际就是master 阅读全文

posted @ 2024-03-18 08:00 荣锋亮阅读(32) 评论(0) 推荐(0)

SQLpage 基于sql 开发website 的工具

摘要： SQLpage 属于一个低代码工具，让我们可以通过sql 开发web 站点包含的特点简单美观快速包含了比较丰富的web 组件同时也提供了一些基本的功能，比如认证，变量，运行sql，读取文件面向的人群业务分析可以基于动态处理数据科学原型以及分析市场人员工程师产品管理人员教阅读全文

posted @ 2024-03-17 12:03 荣锋亮阅读(637) 评论(0) 推荐(0)

hyper-db 试用

摘要： hyper-db 是tableau查询引擎的核心，tableau 官方也提供了比较完整的文档，可以方便学习使用，同时官方也提供了python，c++，java 的api 以下是一个简单试用，体验下hyper 的功能参考代码为了方便基于了python 运行，里边已经直接包含了hyper，使用起来比阅读全文

posted @ 2024-03-17 08:00 荣锋亮阅读(131) 评论(0) 推荐(0)

dremio-diagnostic-collector dremio集群分析工具

摘要： dremio-diagnostic-collector dremio集群分析工具，支持对于log 以及系统信息的获取，方便分析集群问题说明 dremio-diagnostic-collector 是开源的，基于golang 编写，后边可以尝试下参考资料 https://github.com/dr 阅读全文

posted @ 2024-03-16 08:00 荣锋亮阅读(44) 评论(0) 推荐(0)

dremio starflake data reflections 简单说明

摘要： dremio 支持一类starflake data reflections ，比较有意思，以下是对于来自官方文档的一些说明定义 starflake data reflections 就是反射会join 多个物理数据集，这些数据集部分或者全部是record-preserving join 特点 st 阅读全文

posted @ 2024-03-15 08:00 荣锋亮阅读(41) 评论(0) 推荐(0)

dremio ControlsInjector 简单说明

摘要： ControlsInjector 在dremio 中的使用特别多，各种执行任务中都能看到它的影子参考使用到的类从下图可以看到使用到ControlsInjector的地方特别多，比如命令创建，fragment启动，dremio 的sql 优化器参考实现如下图是目前的实现类，包含了一个无操作的，阅读全文

posted @ 2024-03-14 08:00 荣锋亮阅读(35) 评论(0) 推荐(0)

dremio TemporaryFolderManager 简单说明

摘要： dremio 对于比较大的处理（聚合函数操作可能会触发spill，同时会方法临时文件中），对于比较频繁的job 查询可能会有不少临时文件 TemporaryFolderManager核心是为了进行这些临时文件的管理，包括清理，创建，已经对于临时异常执行器节点的文件处理，对于清理处理dremio 没阅读全文

posted @ 2024-03-13 08:00 荣锋亮阅读(41) 评论(0) 推荐(0)

python singledispatch 使用简单说明

摘要： singledispatch 可以实现类似方法的范型能力，以下是使用的简单说明方法参考代码 from functools import singledispatch @singledispatch def add(a,b): return f"default {a}-{b}" @add.regi 阅读全文

posted @ 2024-03-12 19:55 荣锋亮阅读(170) 评论(0) 推荐(0)

python asgi 框架资料

摘要： asgi 是支持python 异步的python web 服务器，框架和应用程序之间的标准接口，目前不少框架已经支持了目前github 上有一个不错的项目，里边包含了各类支持以及实现了asgi 的框架，值得学习 awesome-asgi 参考资料 https://github.com/encode/ 阅读全文

posted @ 2024-03-12 09:47 荣锋亮阅读(57) 评论(0) 推荐(0)

dremio ResultsCleanupService 服务简单说明

摘要： dremio 支持对于jobresult 的定时清理，jobresult 的清理可以减少不少存储空间，尤其查询比较多的时候，默认dremio 每个执行的查询会对于结果集进行本地cache，同时展示使用，同时sys.job_results.<jobid> 也会使用此数据服务创建 DACDaemon 阅读全文

posted @ 2024-03-12 08:00 荣锋亮阅读(46) 评论(0) 推荐(0)

gleam 类型安全的编程语言

摘要： gleam 类型安全的新编程语言，基于rust 开发，编程语法上与rust 特性类似，runtime 基于了erlang 特点支持函数式编程基于erlang runtime （当然也就包含了不少erlang 的特性了）包含了完整的工具连（编译器，构建工具，格式化工具，编辑器集成，包管理）可以阅读全文

posted @ 2024-03-11 11:31 荣锋亮阅读(264) 评论(0) 推荐(0)

dremio 分布式存储配置与hdfs core-site.xml 的关系简单说明

摘要：如果了解dremio 新版本的话，推荐使用的就是分布式存储，同时dremio 也提供了不少的支持，比如hdfs，s3，nas。。。对于分布式存储的配置，官方文档说明的是基于core-ste.xml ，如果不了解内部机制的话，可能比较疑惑，为什么需要这个配置以下进行一些说明分布式配置参考 min 阅读全文

posted @ 2024-03-11 08:01 荣锋亮阅读(60) 评论(0) 推荐(0)

dremio SetOptionHandler 简单说明

摘要： SetOptionHandler 可以进行基于sql 的配置处理，以下是一个简单说明 SetOptionHandler 的创建是在CommandCreator中参考代码 case SET_OPTION: if (sqlNode instanceof SqlAlterTableSetOption) 阅读全文

posted @ 2024-03-10 08:00 荣锋亮阅读(33) 评论(0) 推荐(0)

dremio SafeExit处理流程简单说明

摘要： dremio的SafeExit实现了服务的安全退出，确保job 任务可以正确处理（当服务关闭的时候，没有处理的任务可以正常处理完成），以下是一个简单处理流程说明整体SafeExit 说明目前dremio对于SafeExit的处理，核心是在NodeRegistration 中处理的，具体的触发是阅读全文

posted @ 2024-03-09 08:00 荣锋亮阅读(31) 评论(0) 推荐(0)

resurfaceio goreplay output-resurface 处理简单说明

摘要： resurfaceio goreplay output-resurface 的处理实际上就是开发了一个新的output 插件，对于数据的写入是使用了 resurfaceio 的golang logger sdk 实现简单说明 output_resurface.go，核心就是一个标准的goreplay 阅读全文

posted @ 2024-03-08 09:30 荣锋亮阅读(28) 评论(0) 推荐(0)

dremio sys.job_results.<jobid> 内部处理简单说明

摘要： dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明参考请求图如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插阅读全文

posted @ 2024-03-08 08:00 荣锋亮阅读(46) 评论(0) 推荐(0)

scalene python cpu&gpu 性能分析工具

摘要： scalene 使用一个python cpu&gpu 性能分析工具，同时也支持内存的分析，同时还提供了基于ai的智能优化推荐包含的一些特性 cli 支持多种输出格式包含了一个web-gui 基于ai 的智能提示参考使用安装 pip install scalene 包含的cli usage: 阅读全文

posted @ 2024-03-07 14:47 荣锋亮阅读(286) 评论(0) 推荐(0)

memray python 内存profiler 工具简单试用

摘要： memray python 内存profiler 工具，功能还是很强大的，以下是一个简单使用参考使用安装 pip install memray 支持的cli usage: memray [-h] [-v] [-V] {run,flamegraph,table,live,tree,parse,su 阅读全文

posted @ 2024-03-07 14:47 荣锋亮阅读(627) 评论(0) 推荐(0)

dremio sql 编辑器自动提示服务简单说明

摘要： dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分接口 @POST @Path("/autocompl 阅读全文

posted @ 2024-03-07 08:00 荣锋亮阅读(63) 评论(0) 推荐(0)

resurfaceio 参考架构

摘要： resurfaceio 是graylog 开发的一个api 安全解决方案，设计上使用了不少开源的东西，目前并不完全开源但是通过官方文档介绍，可以看到一些机制参考架构图简单说明: resurfaceio 对于api 安全的处理是通过三大方式解决的，第一中是基于sdk 集成，写入请求信息到resur 阅读全文

posted @ 2024-03-06 17:49 荣锋亮阅读(34) 评论(0) 推荐(0)

dremio ViewCreatorFactory 简单说明

摘要： ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了）调用部分实阅读全文

posted @ 2024-03-06 08:01 荣锋亮阅读(36) 评论(0) 推荐(0)

resurfaceio goreplay output-s3 minio 兼容处理

摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的参考处理添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中参考使用阅读全文

posted @ 2024-03-05 16:37 荣锋亮阅读(36) 评论(0) 推荐(0)

resurfaceio gor linux 二进制包

摘要： resurfaceio的gor 是对于开源版本的修改（比如开启了企业特性，同时添加了对于resurfaceio http output 的支持），为了方便对于linux 系统的使用我拉取了官方镜像，将二进制文件放到github 了https://github.com/rongfengliang/ 阅读全文

posted @ 2024-03-05 13:18 荣锋亮阅读(50) 评论(0) 推荐(0)

导航

公告