大数据基础-数据存储组件介绍

文章目录

• • 目标
  • 分类
  • • - 列式存储
    • - 行式存储
  • - 常见存储格式
  • • TextFile
    • RCFile
    • ORC
    • Parquet
    • ARVO
  • - 典型开源应用
  • • - kudu: 面向实时分析的存储引擎
    • - Hive支持的格式
    • - Impala支持的格式
    • - HBase支持的格式
  • -应用场景
  • • -实时数据平台

目标

分类

• WOS（Write Optimized Store）
  采⽤用 kudu 表⽀持实时导⼊
• ROS（Read Optimized Store）
  采⽤ Parquet 列式存储，采用合理的分区和文件⼤小，最⼤化的减少扫描的数据量

- 列式存储

- 行式存储

- 常见存储格式

TextFile

RCFile

ORC

Parquet

• 按列存储
• 按时间分区
• 局部排序
• 问题：只⽀支持批量量写⼊入，⽆无法追加，无法实现实时写⼊

ARVO

- 典型开源应用

- kudu: 面向实时分析的存储引擎

• 底层使⽤用类似 Parquet 的存储结构
• ⽀支持实时写⼊入、实时更更新及随机查询
• 扫描性能⽐比 Parquet 略略差

- Hive支持的格式

STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)

- Impala支持的格式

impala

- HBase支持的格式

-应用场景

-实时数据平台

同时使⽤两种存储格式
• Kudu 存储实时数据、Parquet 存储历史数据
• 定时进行数据转储 Kudu -> Parquet
• 使⽤视图进⾏无缝融合，对查询层完全透明。

实时查询模块设计

MPP类型查询引擎：