摘要: 消息消费的顺序问题 消息在被追加到 Partition 的时候都会分配一个特定的偏移量(offset),Kafka 通过偏移量(offset)来保证消息在分区内的顺序性。为了保证 Kafka 中消息消费的顺序,可以采用以下 2 种方法: 设置 1 个 Topic 只对应一个 Partition 破坏 阅读全文
posted @ 2024-01-25 23:13 行行行行星 阅读(87) 评论(0) 推荐(0)
摘要: Kafka 集群由若干个 Broker 组成,Topic 由若干个 Partition 组成,每个 Partition 可存在不同的 Broker 上。可以这样说,一个 Topic 的数据,分散在多个机器上,即每个机器上都存放一部分数据。 Kafka 0.8 以前 Kafka 0.8 以前是没有高可 阅读全文
posted @ 2024-01-25 23:12 行行行行星 阅读(94) 评论(0) 推荐(0)
摘要: Segment 数据文件 Partition 在物理上由多个 Segment 数据文件组成,每个 Segment 数据文件大小相等、按顺序读写。每个 Segment 数据文件的第一个文件名从 0 开始,后续每个 Segment 文件名为上一个全局 Partition 的最大offset,文件扩展名为 阅读全文
posted @ 2024-01-25 23:12 行行行行星 阅读(83) 评论(0) 推荐(0)
摘要: 典型拓扑结构 Kafka 集群包含若干个 Producer,若干个 Broker (Kafka 集群支持水平扩展,一般 Broker 数量越多,整个 Kafka 集群的吞吐量也就越高),若干个 Consumer Group,以及一个 Zookeeper 集群。 Kafka 通过 Zookeeper 阅读全文
posted @ 2024-01-25 23:11 行行行行星 阅读(34) 评论(0) 推荐(0)
摘要: Zookeeper 为 Kafka 提供集群的管理。不仅保存着集群的 Broker、Topic、Partition 等元数据,还负责 Broker 故障发现、Leader 选举、负载均衡等。 Broker 元数据管理 在 Zookeeper 上会有一个专门用来进行 Broker 服务器列表记录的节点 阅读全文
posted @ 2024-01-25 23:11 行行行行星 阅读(571) 评论(0) 推荐(0)
摘要: Kafka 是一种高吞吐、分布式、基于发布订阅模型的消息系统。Kafka 用于离线和在线消息的消费。主要有以下 3 个功能: 消息队列:发布和订阅消息流 容错的持久化方式存储记录消息流:Kafka 将消息数据按顺序保存在磁盘上,并在集群内以副本的形式存储以防止数据丢失 流式处理平台:在消息发布的时候 阅读全文
posted @ 2024-01-25 23:10 行行行行星 阅读(48) 评论(0) 推荐(0)
摘要: Java程序从 .java 文件创建到程序运行要经过两大过程: .java 文件由编译器编译成 .class文件 字节码由 JVM 解释运行 编译过程 .java 源文件会被 Java编译器进行编译为.class文件: Java 编译一个类时,如果这个类所依赖的类还没有被编译,编译器会自动的先编译这 阅读全文
posted @ 2024-01-25 23:09 行行行行星 阅读(214) 评论(0) 推荐(0)
摘要: 类的生命周期 从类被加载到虚拟机内存中开始,到释放内存总共有 7 个阶段:加载(Loading),验证(Verification),准备(Preparation),解析(Resolution),初始化(Initialization),使用(Using),卸载(Unloading)。 其中验证,准备, 阅读全文
posted @ 2024-01-25 23:08 行行行行星 阅读(109) 评论(0) 推荐(0)
摘要: 类文件概述 JVM 可以理解的代码就叫做字节码(即扩展名为 .class 的文件,即类文件),它不面向任何特定的处理器,只面向虚拟机。Java 语言通过字节码的方式,在一定程度上解决了传统解释型语言执行效率低的问题,同时又保留了解释型语言可移植的特点。 字节码并不针对一种特定的机器,因此 Java 阅读全文
posted @ 2024-01-24 23:09 行行行行星 阅读(87) 评论(0) 推荐(0)
摘要: 垃圾回收的脑图 垃圾收集主要是针对堆和方法区进行。程序计数器、虚拟机栈和本地方法栈这三个区域属于线程私有的,只存在于线程的生命周期内,线程结束之后就会消失,因此不需要对这三个区域进行垃圾回收。 判断一个对象是否可被回收 1. 引用计数算法 为对象添加一个引用计数器,当对象增加一个引用时计数器加 1, 阅读全文
posted @ 2024-01-24 23:08 行行行行星 阅读(27) 评论(0) 推荐(0)