摘要：主要是关于系统监控，集群监控，服务管理，log 管理，元数据管理，工作负载管理。。。dremio 提供了admin-cli 功能，我们可以方便的进行数据处理，具体操作可以参考一下连接但是注意不是所有特性都支持的，有些是企业特性 参考资料 https://docs.dremio.com/advance 阅读全文

摘要：dremio 的安装以及升级是我们生产使用比较重要的东西 安装 提供了基于rpm 以及tar 包的模式，rpm 的比较简单 tar 模式 需要自己创建用户 sudo groupadd -r dremio sudo useradd -r -g dremio -d /var/lib/dremio -s 阅读全文

摘要：dremio 是基于java 开发的，对于jvm 以及系统内存的配置就很重要了 最大内存（推荐配置） 最大内容，可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配 参数 DREMIO_MAX_MEMORY_SIZE_MB=16384 同时我们可以自己配置heap 以及d 阅读全文

摘要：master coordinator services: { coordinator.enabled: true, coordinator.master.enabled: true, executor.enabled: false } secondary 注意不要运行元数据的命令在secondary 阅读全文

摘要：前边我们基本了解了dremio 的组件构成，一下是关于ha 的一个说明dremio 的ha 使用了一个活动的master coordinator 以及多个备份的coordinator 包含的特点 ha 支持自动恢复操作 ha 模式使用了冷备模式 协调器的选举是通过zk 完成的 元数据存储（kvsto 阅读全文

摘要：分布式存储主要是关于数据加速，表，job 结果还有上传以及下载的数据我们可以通过paths.dist 配置，但是需要注意需要时一样的 参考资料 https://docs.dremio.com/deployment/distributed-storage.html 阅读全文

摘要：默认单机环境下dremio 支持嵌入式的zk，但是对于集群环境，必须要使用zk了 参考配置 services.coordinator.master.embedded-zookeeper.enabled: false zookeeper: "<host1>:2181,<host2>:2181" 一些说 阅读全文

摘要：了解dremio 的一些限制可以帮助我们更好的使用 参考表格 参考资料 https://docs.dremio.com/advanced-administration/limits.html 阅读全文

摘要：元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data 目录，但是我们也可以进行配置，对于一个ha 的环境，我们需要使用nas 存储（nfs。。。） io 性能 元数据存储，提供的服务类型 用户查询&&数据反射的刷新直接回影响并行查询的个数 元数据刷新主要是d 阅读全文

摘要：dremio 的节点分为了多种类型 master主要进行查询计划，提供ui，rest api。。。 secondary主要是提升并行分布式查询（odbc，jdbc） executor执行查询 参考资料 https://docs.dremio.com/deployment/node-roles.htm 阅读全文

摘要：参考集群部署模式 组件说明 查询，主要进行rest，ui，odbc，jdbc 连接处理 coordinator 协调节点，一个或者多个，分为master 以及普通节点 executor 执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadata storage 元数 阅读全文

摘要：dremio 支持多种部署模式 基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署 基本模式 可以基于docker，rpm，以及编译好的软件包 依赖 至少jdk8 参考容器运行 version: "3" services: drem 阅读全文

摘要：dremio 是一个数据湖引擎，包含以下特性 快速的查询 基于了apache arrow 进行数据查询 自服务的语义层 可以依托dremio 提供的数据虚拟服务层以及space 解决 基于灵活以及开源的技术 没有厂商技术的限制 强大join 支持 支持我们查询各种数据，同时进行join ，包含了商业 阅读全文

摘要：一个简单的测试，不算是ha （ha 后边会介绍使用） 环境准备 docker-compose 文件 version: "3" services: zookeeper: image: zookeeper ports: - "2181:2181" - "8080:8080" dremio1: image 阅读全文

摘要：dremio 默认将mongodb 的objectid 转换为varbinary，如果需要字符串格式的id，需要使用函数处理 参考函数 lower(to_hex("_id")) 参考效果 参考资料 https://docs.dremio.com/sql-reference/sql-functions 阅读全文

摘要：cube.js 集成dremio 是一个很不错的选择，可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发 一个参考集成方案 简单说明，cube.js 进行数据分析，dremio 进行数据湖的处理（连接+加速数据处理） 简单集成 可以基于dreami 阅读全文

摘要：说明dremio 很多人是从drill 出来的，但是如果体验了dremio 会发现dremio 的很多设计是drill 没有的（权限管理 ，数据虚拟机化，数据湖支持。。。）但是apache drill 也是一个很不错的选择方案 支持的数据擦集成 说明 同时比较好的是cube.js 也是支持基于dre 阅读全文

摘要：核心并不是dremio的问题，而是依赖的calcite的问题 参考配置 基于docker-compose 的运行 version: "3" services: dremio: image: dremio/dremio-oss:13.0 environment: - DREMIO_JAVA_SERVE 阅读全文