于花花

摘要： Controller？ 就是平时说的集群leader，和分区leader不是一个概念，这是在集群中的所有broker中选出一个唯一的leader，它用来控制整个集群的各种事宜，所以叫Controller。 怎么控制 整个Kafka集群实际上是建立在Zookeeper上的，所以集群的控制实际上也就是各 阅读全文

摘要： 本地LEO和Remote LEO Kafka分区的follower副本的LEO属性保存了两份： 本地LEO：在follower副本所在broker的缓存中保存一份 Remote LEO：在leader副本所在的broker的缓存中保存一份（Remote LEO） 本地LEO很简单，就是followe 阅读全文

摘要： poll IO模型与内部线程 Consumer消费多个来自多个Topic的多个分区的数据，在新版本中，它使用类似select、epoll这种IO模型来达到用一个线程管理多个来源的数据的功能。 不过，Consumer内部还是分为两个线程： Heartbeat线程：定时向broker发送heartbea 阅读全文

摘要： 嘶哈~最近看了一部电视剧，《三悦有了新工作》。 讲的大概就是，一直对生活没啥兴趣的赵三悦找了个殡仪馆的工作，随着她不断地接触到一个个从世间消散的生命，触碰到生者与往生者在面临死别时的复杂情感，她慢慢的体会到了生命的真实意义。真希望你也能看到这部电视剧啊...... 今天早上B站又给我推，看到下面评论 阅读全文

摘要： Producer Producer做的工作 确认消息发送到的partition，相同key映射到相同分区，无key轮询 寻找分区的leader所在的Kafka broker，Producer可以选择不同的策略来发送消息 直接发送成功 leader响应写入操作后成功 ... Producer异常 Pr 阅读全文

摘要： Producer新旧对比 新版本： 发送过程被分为两个线程，一条消息发送后经用户主线程进入内存缓冲区，Sender I/O线程将缓冲区中的数据分批发给Kafka broker 完全异步发送消息，通过Future或Callback来通知发送者 分批机制，提升整体吞吐量 轮询方式对无key消息分区，更加 阅读全文

摘要： 主要概念和术语 Event（事件）是一个现实世界或业务中发生的事，也叫消息或记录，说白了就是你写入Kafka的消息。Event具有key、value和timestamp，这和其它的消息系统有点儿不一样。 Producer和Consumer不介绍了，官方文档有这么一句话：Producer从不需要等待C 阅读全文

摘要： 今天工作中遇到的问题。 SELECT * FROM a LEFT JOIN b ON a.c = b.d LIMIT 20 OFFSET 0; SELECT * FROM a LEFT JOIN b ON a.c = b.d LIMIT 20 OFFSET 20; 上面两条是一摸一样的语句，只有OF 阅读全文

摘要： 本文是《OSTPE》的笔记，由浅入深介绍计算机中的内存虚拟化技术。 为了实现隔离性以及编程的简单性，操作系统提供内存虚拟化技术，给每个进程制造自己在独占内存的假象。 基址、界限寄存器 假设： 为所有进程分配同样大小的内存空间 该空间小于物理内存空间 进程地址空间保存在连续的内存中 在这三个假设的前提 阅读全文

摘要： 本篇介绍操作系统如何调度应用程序，一个我们必须考虑的问题是，应用程序究竟是什么样的，比如它是： 经常需要与用户交互(等待用户输入)的交互型应用程序（或者说IO密集型应用） 长时间占用CPU，基本没有IO的应用程序 这引出了两个指标，交互型应用程序比较重视响应性，即任务多久会被响应，长时间占用CPU的 阅读全文