Kafka基础知识

目录

• Kafka 简介
  • 消息

Kafka 简介

• 中间件，如Kafka，用来存储消息的软件(组件)
• 程序员可以在消息队列中 存 取 消息
• 很多时候消息队列是临时存储(设定期限：消息在MQ中保存10天)

消息

• 存在topic主题，类似数据库中的表，但是是半结构化的
  • 一般存同一类型的消息，但有些情况下也可以存不同类型的
  • 主题可以包含多个分区Partition，不同的分区存在不同的服务器上，使Kafka集群能够线性拓展
    • 存在分区内的消息是不可变的
    • Kafka可以通过偏移量(下标)对消息进行提取，无法对消息的内容检索或查询
    • 分区损坏数据丢失，Kafka通过副本机制(副本也是分区)，保证数据可靠性(replication-factor=3 // 副本因子为3)
      • Kafka会选择一个副本作为主分区leader，用于数据的读取
      • 其他副本为follow，只复制leader的数据
      • 维护一个ISR的集合(正在同步的副本集)，监控数据同步的状态
• 消息形式：键值对
  • 如果不指定key，key的值为空，如果存消息使key为空，Kafka会将消息平均匀到各个分区
  • 如果消息指定key，那么相同key的消息会存在同一分区，保证相同性的消息按照一定顺序进行写入
• 消息代理Broker
  • Kafka集群是由多个Broker组成的，Broker负责消息的读写请求，并将消息存入磁盘中。
  • 通常，一台服务器就是一个Broker
    • 举例：有多个Broker组成每个Kafka集群，每个Broker中有多个分区，其中一个为主分区leader，其他几个为follow。这个Broker就负责处理这个leader的读写请求，负责在follow上同步数据