摘要:一、系统要求 64位操作系统,推荐 Linux/Unix/macOS 64位 JDK 1.8+(这里我装的是jdk8) 二、官网安装文档 链接:https://rocketmq.apache.org/zh/docs/quickStart/01quickstart 我安装时5.3.2是最新版本,就以这
阅读全文
摘要:在只有 Redis 和 Spring Boot 的情况下,利用 Redis 实现一个可靠的异步消息队列是非常常见的做法。Redis 提供了多种数据结构可以用来模拟消息队列,其中最经典和最常用的是 List 结构。 这里将为您提供一个完整、可直接使用的方案,包含生产者和消费者的实现。 核心思想 我们将
阅读全文
摘要:一、常用集群副本数设置规范 1.HDFS DataNode数量为<=2,则副本数为1 DataNode数量=3,副本数为2 DataNode数量>3,副本数为3 2.Kafka 分区数为Broker数量的1-2倍 Broker数量<=2,副本数为1 Broker数量=3,副本数为2 Broker数量
阅读全文
摘要:注意:先停止kafka,再操作。 1.新增kafka.service vi /etc/systemd/system/kafka.service # kafka.service内容 [Unit] Description=Apache Kafka Service After=network.target
阅读全文
摘要:注意:如果zk已经启动了,要先停掉,再执行下面的命令。 1.新增zk.service文件 sudo vi /etc/systemd/system/zk.service #zk.service的内容,注意修改成自己的JAVA_HOME和zk安装目录 [Unit] Description=Apache
阅读全文
摘要:1.下载安装包 EFAK官网:https://www.kafka-eagle.org/ 2.上传安装包到服务器并解压 #注意:这里有两层,再解压一次 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz tar -zxvf efak-web-3.0.1-bin.tar.gz
阅读全文
摘要:一、问题背景 周五的时候,推送了500万笔消息到kafka的TOPIC_TEST队列,使用EVENT_GROUP消费者组去消费,周一的时候,使用kafka-consumer命令查看消费者组的时候,发现,topic的6个分区都有大量的消息堆积,我把消费者应用重启了一下,发现剩余消息lag数还是不变,给
阅读全文
摘要:Linux系统离线安装redis5.0.7 1.下载redis安装包 方式一:shell命令下载 wget http://download.redis.io/releases/redis-5.0.7.tar.gz 方式二:手动官网下载 官网地址:https://redis.io/download 2
阅读全文
摘要:1.安装包下载并上传 上传到:/opt/app/middles Kafka: https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz Zookeeper(apache-zookeeper-3.5.7-bin.tar.gz):
阅读全文