rongfengliang-荣锋亮

摘要： 数据反射的目的是进行数据的加速处理，dremio 包含了raw 模式、聚合处理，以及外部模式创建反射比较简单，可以给予rest api 的sql以及可视化UI 操作，同时官方也提供了一个比较好的实践文档 参考操作 查看查询效果 说明 以下参考资料值得看看，尤其是官方关于最佳实践的电子书 参考资料 h 阅读全文

摘要： 主要是关于系统监控，集群监控，服务管理，log 管理，元数据管理，工作负载管理。。。dremio 提供了admin-cli 功能，我们可以方便的进行数据处理，具体操作可以参考一下连接但是注意不是所有特性都支持的，有些是企业特性 参考资料 https://docs.dremio.com/advance 阅读全文

摘要： dremio 的安装以及升级是我们生产使用比较重要的东西 安装 提供了基于rpm 以及tar 包的模式，rpm 的比较简单 tar 模式 需要自己创建用户 sudo groupadd -r dremio sudo useradd -r -g dremio -d /var/lib/dremio -s 阅读全文

摘要： dremio 是基于java 开发的，对于jvm 以及系统内存的配置就很重要了 最大内存（推荐配置） 最大内容，可以方便dremio 自动基于节点类型进行heap 以及direct 内存的分配 参数 DREMIO_MAX_MEMORY_SIZE_MB=16384 同时我们可以自己配置heap 以及d 阅读全文

摘要： master coordinator services: { coordinator.enabled: true, coordinator.master.enabled: true, executor.enabled: false } secondary 注意不要运行元数据的命令在secondary 阅读全文

摘要： 前边我们基本了解了dremio 的组件构成，一下是关于ha 的一个说明dremio 的ha 使用了一个活动的master coordinator 以及多个备份的coordinator 包含的特点 ha 支持自动恢复操作 ha 模式使用了冷备模式 协调器的选举是通过zk 完成的 元数据存储（kvsto 阅读全文

摘要： 分布式存储主要是关于数据加速，表，job 结果还有上传以及下载的数据我们可以通过paths.dist 配置，但是需要注意需要时一样的 参考资料 https://docs.dremio.com/deployment/distributed-storage.html 阅读全文

摘要： 默认单机环境下dremio 支持嵌入式的zk，但是对于集群环境，必须要使用zk了 参考配置 services.coordinator.master.embedded-zookeeper.enabled: false zookeeper: "<host1>:2181,<host2>:2181" 一些说 阅读全文

摘要： 了解dremio 的一些限制可以帮助我们更好的使用 参考表格 参考资料 https://docs.dremio.com/advanced-administration/limits.html 阅读全文

摘要： 元数据存储主要包含了用户，空间，数据几的配置，默认存在在${DREMIO_HOME}/data 目录，但是我们也可以进行配置，对于一个ha 的环境，我们需要使用nas 存储（nfs。。。） io 性能 元数据存储，提供的服务类型 用户查询&&数据反射的刷新直接回影响并行查询的个数 元数据刷新主要是d 阅读全文

摘要： dremio 的节点分为了多种类型 master主要进行查询计划，提供ui，rest api。。。 secondary主要是提升并行分布式查询（odbc，jdbc） executor执行查询 参考资料 https://docs.dremio.com/deployment/node-roles.htm 阅读全文

摘要： 参考集群部署模式 组件说明 查询，主要进行rest，ui，odbc，jdbc 连接处理 coordinator 协调节点，一个或者多个，分为master 以及普通节点 executor 执行节点，进行实际的数据执行操作，理论上越多的节点越好，可以提高系统的性能 metadata storage 元数 阅读全文

摘要： dremio 支持多种部署模式 基于云的基于独立部署，生产环境不建议使用独立模式（推荐基于集群模式），云环境的模式就不说了，主要说明关于独立环境的部署 基本模式 可以基于docker，rpm，以及编译好的软件包 依赖 至少jdk8 参考容器运行 version: "3" services: drem 阅读全文

摘要： dremio 是一个数据湖引擎，包含以下特性 快速的查询 基于了apache arrow 进行数据查询 自服务的语义层 可以依托dremio 提供的数据虚拟服务层以及space 解决 基于灵活以及开源的技术 没有厂商技术的限制 强大join 支持 支持我们查询各种数据，同时进行join ，包含了商业 阅读全文