摘要：今天，我将围绕如下几个问题进行分享： 为什么需要消息系统? Kafka 架构原理? Kafka 如何存储消息? Producer 如何发送消息? Consumer 如何消费消息? Offset 如何保存? 消息系统可能遇到哪些问题？ 为什么需要消息系统? Kafka 架构原理? Kafka 如何存储 阅读全文

摘要：（1）如何保证宕机的时候数据不丢失？ 如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。 比如下面的图里就是表明了对于每一个Topic，我们都可以设置他包含几个Partition，每个Partition负责存储这个Topic一部分的数据。 然后Kafka的Broker集群 阅读全文

摘要：目录 1、背景引入：很多同学看不懂Kafka参数 2、一段Kafka生产端的示例代码 3、内存缓冲的大小 4、多少数据打包为一个Batch合适？ 5、要是一个Batch迟迟无法凑满咋办？ 6、最大请求大小 7、重试机制 1、背景引入：很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题，大家 阅读全文

摘要：Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。 下面从数据写入和读取两方面分析，为什么 Kafka 速度这么快。 数据写入 Kafka 会把收到的消息都写入到硬盘中，它绝对不会丢失数据。为了优 阅读全文

摘要：Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。 为了做到水平扩展，一 阅读全文

摘要：前言 有朋友咨询在大量消息的情况下 Kakfa 是如何保证消息的高效及一致性呢？ 正好以这个问题结合 Kakfa 的源码讨论下如何正确、高效的发送消息。 内容较多，对源码感兴趣的朋友请系好安全带😏(源码基于 v0.10.0.0 版本分析)。同时最好是有一定的 Kafka 使用经验，知晓基本的用法。 阅读全文

摘要：数据丢失为大事，针对数据丢失的问题我们排查结果如下。第一：是否存在数据丢失的问题？ 存在，且已重现。第二：是在什么地方丢失的数据，是否是YDB的问题？ 数据丢失是在导入阶段，数据并没有写入到Kafka里面，所以YDB也就不会从Kafka里面消费到缺失的数据，数据丢失与延云YDB无关。第三：是如何发现 阅读全文

摘要：一、简介 Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式 阅读全文