摘要：前言 在Kafka中，我们可能会发现两个与retention相关的配置： log.retention.minutes offsets.retention.minutes 那么它们之前的差别是什么呢？ 定义 首先让我们看看它们在官方文档中的定义 名称描述类型默认值有效值重要性 log.retentio 阅读全文

摘要：Consumers and Consumer Groups 假设我们有一个应用程序需要从Kafka主题中读取消息，对它们运行一些简单的验证，并将结果写入另一个数据存储中。 因此，我们需要将创建一个Consumer对象，订阅相应的主题，并开始接收消息，验证它们并编写结果。 这可能会有一段时间，但如果写 阅读全文

摘要：Replication Kafka的replication复制机制是其可靠性的保证，即为每个分区数据提供多个副本。 每个Kafka topic包含有多个分区，分区是kafka存储数据的基本单位。一个分区只能存储在同一个硬盘上。 Kafka保证每一个分区内的消息的顺序，无论这个分区是在线(availa 阅读全文

摘要：用scala写的一段Spark Streaming连接Kafka的入门代码 阅读全文