Apache Doris 轻松入门和快速实践

Doris 最早是解决百度凤巢统计报表的专用系统,随着百度业务的飞速发展对系统进行了多次迭代,逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年,百度把 Doris 进行了 MPP 框架的升级,并将新系统命名为 Palo。2017 年以百度 Palo 的名字在 GitHub 上进行了开源。2018 年贡献给 Apache 基金会时,由于与国外数据库厂商重名,因此选择用回最初的名字,这就是 Apache Doris 的由来。
Apache Doris是一个现代化的MPP分析型数据库产品,仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。
Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!
Doris 的定位是面向在线报表和分析的数据仓库系统,可以对标于商业的MPP 数据仓库系统,比如Greenplum、Vertica、Teradata 等。
 
专栏大纲
Doris(原百度 Palo)是一款基于大规模并行处理技术的分布式 SQL 数据库,由百度在 2017 年开源,2018 年 8 月进入 Apache 孵化器。Doris是基于MPP架构的OLAP引擎,主要整合了Google Mesa(数据模型)、Apache Impala(MPP Query Engine)和Apache ORCFile (存储格式,编码和压缩)的技术。
 
Doris可以满足企业级用户的多种分析需求,包括OLAP多维分析,定制报表,实时数据分析,Ad-hoc数据分析等。
 
具体的业务场景包括:
  • 数据仓库建设
  • OLAP/BI分析
  • 用户行为分析
  • 广告数据分析
  • 系统监控分析
  • 探针分析 APM(Application Performance Management)
 
《Apache Doris 轻松入门和快速实践》技术专栏包括Apache Doris架构介绍、环境搭建、入门操作实例和演示项目源代码。技术专栏从实战出发,通过基础介绍入门-环境搭建-项目实践,让初学者快速掌握Apache Doris分析型OLAP数据库开源产品。其中示例项目KFD演示通过Flink处理Kafka中的消息记录,处理之后的数据再写入到Kafka和Elasticsearch中,最后以Routine Load方式再将处理好的数据导入到Doris中。
技术专栏主要包含如下内容:
  • Apache Doris入门:基于 MPP 技术的SQL分析型数据库
  • 如何通过源码编译Apache Doris?手把手教你完成整个编译过程
  • Apache Doris 部署所需的软硬件环境以及节点规划
  • Apache Doris 配置和启动运行FE节点详细过程
  • Apache Doris 配置和启动运行BE节点详细过程
  • Apache Doris 查看FE运行情况,以及扩容和缩容FE实例
  • Apache Doris 查看BE运行情况,以及扩容和缩容BE实例
  • 快速部署Apache Doris演示环境
  • 快速体验Apache Doris:基础使用入门、创建账号和数据库
  • 快速体验Apache Doris:创建单分区表、导入数据、简单查询操作
  • 快速体验Apache Doris:创建复合分区表、导入数据、简单查询
  • 快速体验Apache Doris:修改表结构
  • 快速体验Apache Doris:创建Rollup上卷表
  • Apache Doris 数据模型:Aggregate聚合模型的基本概念和入门演示
  • Apache Doris 数据模型:Uniq 唯一模型的基本概念和入门演示
  • Apache Doris 数据模型:Duplicate 明细模型的基本概念和入门演示
  • Apache Doris 中 BITMAP 基本原理、数据类型和内置函数
  • Apache Doris 中BITMAP 聚合函数的使用入门
  • Apache Doris 中BITMAP_INTERSECT和INTERSECT_COUNT的使用入门和留存计算
  • Apache Doris 动态分区表详细使用入门
  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【1】
  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【2】
  • 项目实践:实现Kafka消息记录导入Apache Doris数据表【3】
  • 项目实践KFD:Flink应用通过Kafka Connector组件消费Kafka数据
  • 项目实践KFD:Flink消费Kafka数据进行统计处理
  • 项目实践KFD:Flink统计处理之后的数据sink到Kafka
  • 项目实践KFD:Flink对于迟到数据处理的开发实践
  • 项目实践KFD:改进Flink输出到Kafka消息队列的数据格式
  • 项目实践KFD:处理过的访问数据通过Routine Load导入到Doris
  • 项目实践KFD:Flink统计处理之后的数据sink到Elasticsearch
  • 一步一步编译最新版Apache Doris 0.15版本的详细过程
  • 一步一步编译最新版Apache Doris 0.15中的扩展插件Flink Doris Connector
  • Apache Doris集群从0.14到0.15版本平滑升级实战
  • 基于Flink Doris Connector扩展插件的项目开发实践(1)
  • 基于Flink Doris Connector扩展插件的项目开发实践(2)
  • 基于Flink Doris Connector扩展插件的项目开发实践(3)
  • ...

 

posted @ 2021-12-16 15:15  Rickie  阅读(2330)  评论(0编辑  收藏  举报