随笔分类 - Kafka
摘要：我有一个主题：test0811，里面有 10 条数据。 由于某些原因，我想要删除前5条数据，kafka提供了一个脚本 kafka-delete-records.sh 可以实现这个需求。 执行命令：./bin/kafka-delete-records.sh --bootstrap-server loc
阅读全文
摘要：问题 都说kafka在Windows上运行的错误多，果然如此。在测试阶段，创建了一个 测试主题，并往该主题发送了消息，然后删除该主题。这时错误出来了： kafka error log日志 [2024-01-08 15:22:42,224] ERROR Error while renaming dir
阅读全文
摘要：一、问题 在Windows 10上运行kafka (版本：kafka_2.12-3.3.1)，出现log4j包对于文件重命名问题出错，如下图： 配置文档 修改的文档包括：zookeeper.properties 、 server.properties 、 log4j.properties 和 kaf
阅读全文
摘要：背景介绍 消费者正常消费一段时间后，断开连接，再次连接消费消费。发现尽管生产者一直在生产消息，但消费者却无法消费消息。 查询消费者组的信息： 出现警告：Warning: Consumer group 'ClientConsumer' is rebalancing，导致消费者无法消费消息。一定要等待这
阅读全文
摘要：auto.offset.reset latest（默认） 已有一个消费者groupId=ClientConsumer，消费消息到最新位置，然后停止消费。 启动生产者生产一定数量消息，然后停止生产。 接着启动消费者，设置 auto.offset.reset=latest 结果：消费者从上次消费位置接着
阅读全文
摘要：需求 虽然kafka server有命令行工具管理kafka，但必须登录到kafka server主机上，觉得不是特别方便。 希望在web界面可以管理kafka需求就来了，查到几个管理kafka管理工具，觉得kafka manager还不错。 该管理工具基本上可以满足我的需求： 1）管理kafka
阅读全文
摘要：消费者组查询 在 kafka server中查看有哪些消费者：./kafka-consumer-groups.sh --list --bootstrap-server localhost:9092 查询到有2个消费者组 消费者组描述 在 kafka server中查看指定消费者组信息：./kafka
阅读全文
摘要：producer发布消息失败 由于使用脚本：./kafka-server-stop.sh and ./zookeeper-server-stop.sh 关闭kafka后，jps查询服务还在，就打算把重启系统。 重启后，往kafka上发布消息失败，报错代码：brokers are down 。 一顿操
阅读全文
摘要：## 问题引入 尽管Kafka官方提供了生产者代码案例，我还是觉得有必要对代码进行一次解读，并加入个人的理解。 📌 **这里有一篇写的很好的博客，建议阅读[c语言使用librdkafka库实现kafka的生产和消费实例(转)](https://www.cnblogs.com/wangbin/p/8
阅读全文
摘要：前言 一两周前测试kafka，创建了topic: data-time，发布了一部分数据，测试kafka的发布和订阅均正常。 一两周后，也就是现在，再次取订阅topic: data-time。发现无法订阅了，准备的说是 ：订阅失效了。 为了弄清楚前因后果，记录一下... 一、kafka配置文档（ser
阅读全文
摘要：运行环境： 操作系统：CentOS7.6 x64 kafka版本：kafka_2.13-3.3.1.tgz JDK环境：JDK11 (Kafka2.8版本才开始自带了Zookeeper，所以注意下载版本) 一、zookeeper.properties dataDir=/tmp/zookeeper/d
阅读全文
摘要：kafka每次关机重启后，都要重新手动启动。那能否让计算机开机后自动启动kafka呢？ 答案：可以 一、Zookeeper开机自启服务 在 /lib/systemd/system/ 目录创建服务脚本 zookeeper.service ：vim /lib/systemd/system/zookeep
阅读全文
摘要：Kafka的脚本启动和关闭（Linux） 一、脚本启动kafka ❤ 打开Kafka_Producer ❤ kafka启动脚本 创建bash文件：ka_start.sh，内容如下： #!/bin/bash kafka_path="/home/user/caojun/Kafka/kafka_2.13-
阅读全文
摘要：Kafka单节点部署（Linux 环境） 运行环境：CentOS7.6 x64 JDK环境：JDK11（请参考JDK的安装和配置（Linux环境）） 一、Kafka安装包获取 1-1 kafka官网 1-2 WinSCP上传 （注意：CentOS切换到root账户下，进行下面所有的操作） 在\hom
阅读全文
摘要：JDK的安装和配置（Linux环境） 一、查询本地是否有JDK11环境 查询命令：java -version 虽然本地已有jdk环境，但不是我们需要的版本，需要更新为jdk11版本 二、安装JDK11环境 ❤ 在/home 目录下，创建 install_jdk11.sh文件（即 touch inst
阅读全文
摘要：Kafka Server之kafka-console-consumer.bat 注意：博主使用kafka版本：kafka_2.12-3.3.1.tgz windows版 一、订阅主题全部消息 (注意：Producer 已经生产：0~4999共5000条消息) 在kafka\bin\windows目录
阅读全文
摘要：Kafka工具：Offset Explorer 一、Offset Explorer安装 offsetexplorer_64bit.exe Windows x64版本下载链接 安装方式：选择默认安装（即全部默认下一步） 官网链接：https://www.kafkatool.com/index.html
阅读全文
摘要：注意：博主使用kafka版本：kafka_2.12-3.3.1.tgz windows版 一、topic创建 注意：前提条件 Zookeeper 和 Kafka 已启动 进入kafka\bin\windows目录下，打开cmd.exe，输入命令： kafka-topics.bat --create
阅读全文
摘要：Kafka Consumer指定时间戳位置消费消息 若用户不想从最旧的（earliest）或最新的（lastest）offset位置开始消费，想指定某个时间戳位置开始消费，是否可行呢？ 答案：可行的 用户给定时间戳，kafka server通过时间戳确定并返回距离时间戳最近的一条消息的offset，
阅读全文
摘要：Kafka Client C --Producer && Consumer 运行环境：Windows 10 64位、Visual Stdio 2017 Community、kafka_2.12-3.3.1.tgz 一、Kafka Client C库 Kafka官网只提供Java版本的Client 库
阅读全文
浙公网安备 33010602011771号