摘要： 消息分区机制 为什么分区 提供负载均衡的能力，实现系统的高伸缩性）。 不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。 分区策略 自定义分区策略 编 阅读全文

摘要： kafka通过**幂等性（Idempotence）和事务（Transaction）**实现消息精确一次（exactly once）的可靠性保障。 幂等性 Producer 设置props.put(“enable.idempotence”, ture)，或 props.put(ProducerConf 阅读全文

摘要： 生产消息 # 使用控制台来向 Kafka 的指定主题发送消息 $ bin/kafka-console-producer.sh --broker-list kafka-host:port --topic test-topic --request-required-acks -1 --producer- 阅读全文

摘要： Broker 端参数 log.dirs：Broker 需要使用的若干个文件目录路径，必须指定；最好不同路径挂载到不同的物理磁盘，提升读写性能且能能够实现故障转移 log.dir：单个路径 zookeeper.connect：zookeeper端口 listeners：访问kafka的监听器 adve 阅读全文

摘要： 高水位 在分区高水位以下的消息被认为是已提交消息。kafka中，分区的高水位就是其 Leader 副本的高水位。 作用 定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。 帮助 Kafka 完成副本同步。 **LEO（Log End Offset）**表示副本写入下一条消息的位移值。 阅读全文

摘要： title: kafka主题管理 top: false cover: false toc: true mathjax: true date: 2021-03-28 21:49:14 password: summary: tags: kafka categories: kafka 主题增删改查 创建 阅读全文

摘要： 功能 主题管理：包括主题的创建、删除和查询。 权限管理：包括具体权限的配置与删除。 配置参数管理：包括 Kafka 各种资源的参数设置、详情查询。所谓的 Kafka 资源，主要有 Broker、主题、用户、Client-id 等。 副本日志管理：包括副本底层日志路径的变更和详情查询。 分区管理：即创 阅读全文

摘要： 调优目标 吞吐量，也就是 TPS，是指 Broker 端进程或 Client 端应用程序每秒能处理的字节数或消息数。 延时，表示从 Producer 端发送消息到 Broker 端持久化完成之间的时间间隔。 优化 操作系统调优 1、最好在挂载（Mount）文件系统时禁掉 atime 更新。atime 阅读全文

摘要： delete误删行 Flashback工具通过闪回把数据恢复回来。 Flashback恢复数据的原理，是修改binlog的内容，拿回原库重放。而能够使用这个方案的前提是，需要确保binlog_format=row 和 binlog_row_image=FULL。 恢复数据比较安全的做法，是恢复出一个 阅读全文

摘要： InnoDB内存管理用的是最近最少使用 (Least Recently Used, LRU)算法，这个算法的核心就是淘汰最久未使用的数据。为了应对全表扫描的影响，InnoDB对LRU算法做了改进。 在InnoDB实现上，按照5:3的比例把整个LRU链表分成了young区域和old区域。图中LRU_o 阅读全文