Kafka简介

Kafka 是一个分布式消息订阅数据处理平台
kafka官网：http://kafka.apache.org/

平台有三个关键功能：

• 发布和订阅记录流，类似于消息队列或消息传递系统。
• 以容错的持久方式存储记录流。
• 记录发生时处理流。

Kafka通常用于两大类应用：

• 构建可在系统或应用程序之间可靠获取数据的实时流数据管道
• 构建转换或响应数据流的实时流应用程序

必知的概念

• Kafka作为一个集群运行在一个或多个可跨多个数据中心的服务器上。
• Kafka集群以称为 topics主题 的类别存储记录流。
• 每条记录都包含一个键，一个值和一个时间戳。Key-Value 记录，类似于特征。

Kafka核心API

• Producer API（生产者） 允许程序 发布 记录流到一个或多个Kafka的 topics 中。
• Consumer API（消费者） 允许程序 订阅一个或多个 topics，并处理这些topics中产生的记录对应的数据流。
• Streams API（流） 允许程序充当 流处理器 ，从一个或多个 topics中消耗输入流，并产生一个输出流到一个或多个输出的topics，有效变换输入流，以输出流。相当于一个流处理中继。
• Connector API（连接器） 允许构建和运行Kafka topics连接到生产者、消费者、流处理器。

在Kafka中， 客户端和服务器之间的通信 是通过简单，高性能，语言无关的 TCP协议 完成的。

具体概念点

• Topics主题 和 partitions分区
• kafka集群里的server与topics与partition的分配
• Producers生产者 和 Consumers消费者

Kafka 可用于

• 消息系统
• 存储系统
• 流处理系统

备注

kafka正常运行，必须配置zookeeper，具体也需要了解 zookeeper 是什么。当然官网下载包内已经包括 zookeeper 服务。