摘要：一. 回顾 producer topic consumer 集群运行，每个服务broker tcp协议，Kafka提供java端，另一端可支持多种语言 topic topic是对一组消息的归纳，每个topic分区 每个分区都有个offset consumer需要维护offset 分区目的：1、使得每 阅读全文

摘要：一. 数据持久化 直接操作文件系统 操作系统对所有的磁盘操作，都经过缓存，由内存开辟空间； 进程也会缓存一份数据； 这等于进行了两次缓存； jvm问题： Java对象占用空间是非常大的，差不多是要存储的数据的两倍甚至更高 随着堆中数据量的增加，垃圾回收回变的越来越困难 kafka为了避免两倍的jvm 阅读全文

摘要：一. kafka结构 特点： 1. 支持高Throughput的应用 2. scale out：无需停机即可扩展机器 3. 持久化：通过将数据持久化到硬盘以及replication防止数据丢失 4. 支持online和offline的场景。 消息层次： 1. Topic：一类消息，例如page vi 阅读全文