摘要：支持的操作系统 RHEL 以及cents 6.7+ 以及7.3+ （支持rpm以及tar）SLES 12 sp2+ （tar）ubuntu 14+ （tar）debian 7 + （tar） jdk 注意需要jdk 同时需要8 服务以及实例硬件需求 master 协调节点8核 16G内存 执行节点最 阅读全文

摘要：最近在测试dremio mysql 连接的时候发现中文乱码，经过测试发现是默认dremio 集成的mariadb 的jdbc 驱动，mariadb 对于老版本mysql 中文支持有点问题（目前测试的是mysql 5.1）解决方法:官方下载新的mariadb jdbc 驱动，放到目录为jars/3rd 阅读全文

摘要：dremio 有一套自己的标准，我们基于约定就可以自己开发的图标了 一些预定 对于maven 项目资源文件放resources 目录 图标是svg 格式的，大小为150*150 （当然无所谓大小） svg 的文件名称需要和自己定义的arp 定义metadata name 一样，推荐使用全大写 参考案 阅读全文

摘要：在通过反编译查看dremio ce 版本的jdbc 插件，发现对于sql server 的乱码是因为一个配置引起的 所以以下是尝试基于官方的机制，写一个sql server 的扩展，方便集成使用 项目结构 pom.xml <?xml version="1.0" encoding="UTF-8"?> 阅读全文

摘要：dremio 对于中文的支持需要进行一些额外的配置以及处理 需要的配置 dremio env 查询过滤条件的 DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcha 阅读全文

摘要：dremio 对于查询的数据是有一些限制的，比如数据表字段的内容大小不能超多32k（很多时候我们使用字段存储文本内容的时候就很容易超过） 以下是一些简单的解决方法 32kb 问题 基于视图 主要是移除数据过大的列 mongo db 参考方法(需要3.4版本) db.createView( "myde 阅读全文

摘要：dremio 的节点包含了执行以及协调，我们可以基于提供的prometheus metrics 进行监控，同时基于提供的jmx 也是一个 不错的选择 主要jmx 监控项 heap 内存以及gc 频率 直接内存使用 轻量级线程监控 指标说明 heap 内存以及gc heap: memory.heap. 阅读全文

摘要：以前大概说明过关于升级的操作，以下详细说明下 流程 备份 数据，可以使用命令 backup,注意需要在master 操作 下载新版本 进行软连接关联 注意需要使用的软连接包含了软件包，配置，以及数据目录（比较推荐使用官方建议的运行配置模式） conf 以及data 分离 执行更新 upgrade 命 阅读全文

摘要：dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明） 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-promet 阅读全文

摘要：默认dremio 对于添加的数据源进行cache，而且缓存的时间比较长，对于经常变动的数据源就有点不是很方便了，但是我么可以通过替他模式解决 调整元数据刷新频率 如下图 调用sql 操作更新 可以使用forget 模式，参考连接，但是没尝试过 参考资料 https://docs.dremio.com 阅读全文

摘要：参考apache drill 实现一个user_agent 解析的函数 项目结构 maven 项目结构 ├── pom.xml ├── src │ ├── main │ │ ├── java │ │ │ ├── com │ │ │ │ └── dalong │ │ │ │ └── udf │ │ │ 阅读全文

摘要：最近在学习dremio，需要开发一个user agent 的函数，所以整理了一些user agent 解析的包，方便使用net.sf.uadetector,nl.basjes.parse.useragent 参考资料 http://uadetector.sourceforge.net/usage.h 阅读全文

摘要：dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的 项目结构 项目主要是创建一个uuid 的函数 项目结构 ├── pom.xml ├── src │ ├ 阅读全文

摘要：主要介绍关于创建相关的操作（比如table，反射，虚拟表） create table 注意并不是所有存储都是支持，一般文件系统相关的会有支持（比如s3,hdfs）,同时也包含了一个隐藏的$scratch 目录 参考命令 注意需要开启CTAS 以及DROP 选项（文件系统的） CREATE TABLE 阅读全文

摘要：以下内容参考自官方的一个参考文档 最低要求 执行节点&&协调节点 8 CPU, 16G 内存,4HDD 或者1SSD 生产推荐 执行节点 32+CPU，128G 内存，12+HDD， 或者3+SDD 协调节点 32+ CPU，128G内存，4HDD 或者SSD（RAID 10） 双工10G bond 阅读全文

摘要：dremio 是基于java 开发的，项目使用了maven进行包管理，以下是一个简单的源码构建 依赖 java8， maven （至少3.3.9） 构建 构建比较慢，需要等待 构建 git clone https://github.com/dremio/dremio-oss.git dremio c 阅读全文

摘要：如果学习dremio 的话，会发现一些与drill 相似的地方，但是也有好多不同的地方，以下是一些区别，参考了网上以及一些自己的理解 dremio 基于apache arrow 更多的push down 能力 支持数据反射（加速数据访问） 提供了数据治理，数据审编，数据血缘，数据访问控制，数据虚拟化 阅读全文

摘要：目的比较简单，就是学习下dremio 基于arp模式的连接器开发，目前我们可以看到一些官方的demo 但是还是自己尝试下，同时也记录下开发过程中踩的坑 环境准备 基于13 版本 maven 项目结构 为了方便jar 包的分发，使用了shade 扩展 ├── README.md ├── pom.xml 阅读全文

摘要：arp 是dremio 提供的一个高级关系下推框架，可以方便我们开发自定义的数据连接器 arp 开发流程 结构 (比drill 开发方便多了) 存储插件配置 [data source]Conf,java 插件arp yaml 定义文件 [data source].arp.yaml 说明 配置定义了， 阅读全文

摘要：数据反射的目的是进行数据的加速处理，dremio 包含了raw 模式、聚合处理，以及外部模式创建反射比较简单，可以给予rest api 的sql以及可视化UI 操作，同时官方也提供了一个比较好的实践文档 参考操作 查看查询效果 说明 以下参考资料值得看看，尤其是官方关于最佳实践的电子书 参考资料 h 阅读全文