BYRHuangQiang

摘要： `ConsumerConfig.scala` 储存Consumer的配置 按照我的理解，0.10的Kafka没有专门的SimpleConsumer，仍然是沿用0.8版本的。 1.从poll开始 消费的规则如下： 一个partition只能被同一个ConsumersGroup的一个线程所消费. 线程数 阅读全文

摘要： 1.HighLevelApi High Level Api是多线程的应用程序，以Topic的Partition数量为中心。消费的规则如下： 一个partition只能被同一个ConsumersGroup的一个线程所消费. 线程数小于partition数，某些线程会消费多个partition. 线程数 阅读全文

摘要： 摘要 本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coord 阅读全文

摘要： 1主要的设计元素 Kafka之所以和其它绝大多数信息系统不同，是因为下面这几个为数不多的比较重要的设计决策： 1. Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。 2. 主要的设计约束是吞吐量而不是功能。 3. 有关哪些数据已经被使用了的状态信息保存为数据使用者（consumer 阅读全文

摘要： 1. 操作命令 2. 原理 topic创建主要分为两个部分：命令行部分+后台(controller)逻辑部分，如下图所示。 主要的思想就是后台逻辑会监听zookeeper下对应的目录节点，一旦发起topic创建命令，该命令会创建新的数据节点从而触发后台的创建逻辑。 leader选举：简单来说就是选取 阅读全文

摘要： 本文主要介绍了Kafka High level的代码架构和主要的类。 这张图是0.8版本的架构 Boker 架构 1 network layer Kafka使用NIO自己实现了网络层的代码， 而不是采用netty, mina等第三方的网络框架。从性能上来讲，这一块的代码不是性能的瓶颈。 它采用IO多 阅读全文

摘要： Kafka的普及在很大程度上归功于它的设计和操作简单，如何自动调优Kafka副本的工作，挑战之一：如何避免follower进入和退出同步副本列表(即ISR)。如果某些topic的部分partition长期处于“under replicated”状态，会增加数据丢失的概率。Kafka通过“多副本机制” 阅读全文

摘要： CPU 利用率高的排查方法 看看该机器的连接数是不是比其他机器多,监听的端口数： Kafka 0.8的停止和启动 启动: 停止: kafka 0.10的启动和停止 启动: 停止: 1 问题描述 broker 连接Session超时，在zookeeper的临时节点删除，出发告警。查明超时的原因。 2 阅读全文

摘要： 一、Kafka通信机制的整体结构 同时，这也是SEDA多线程模型。 1. 对于broker来说，客户端连接数量有限，不会频繁新建大量连接。因此一个Acceptor thread线程处理新建连接绰绰有余。 2. Kafka高吐吞量，则要求broker接收和发送数据必须快速，因此用proccssor t 阅读全文

摘要： 1概要设计 Kafka SocketServer是基于Java NIO来开发的，采用了Reactor的模式，其中包含了1个Acceptor负责接受客户端请求，N个Processor负责读写数据，M个Handler来处理业务逻辑。在Acceptor和Processor，Processor和Handle 阅读全文