RocketMq开启安全认证ACL-解决服务器系统安全漏洞
1、为什么要开启ACL
通过之前的文章我们已经知道怎么安装RocketMq了。如果你还不会安装RocketMq可以查看我的这篇文章：快速入门一篇搞定RocketMq-实现微服务实战落地 进行软件安装，附文章地址：https://www.cnblogs.com/sowler/p/18173752 。虽说已经安装成功了，但是它现在在服务器上面还处于"裸奔"状态。如果是公司内网服务器还好，有一层安全保障。但是如果是公网服务器黑客可以根据RocketMq端口号入侵服务器系统植入木马病毒，给服务器带来安全漏洞。所以如果部署在公网环境下，强烈建议开启RocketMq的ACL机制以加强系统的安全性。
2、ACL的作用
ACL主要是为了增强系统的安全性和保护消息队列数据的机密性。通过ACL，可以限制用户或应用程序对消息队列的访问权限，只有经过授权的用户才能进行相关操作，如发送消息、消费消息等。防止未经授权的用户或恶意应用程序对消息队列进行操作，减少潜在的安全风险和数据泄露的可能性。同时，ACL还可以帮助管理者更好地控制系统的访问权限，提高系统的可控性和安全性。总体来说，开启ACL是一种有效的安全措施，可以保护RocketMq系统免受未经授权的访问和潜在的安全威胁。
3、ACL是什么
RocketMQ的ACL（Access Control List）是一种安全机制，用于对消息中间件的访问进行授权和限制。ACL机制可以确保只有具备相应权限的用户才能执行特定的操作，从而保护消息系统的安全性。而ACL管理员可以对以下操作进行细粒度的控制和权限管理：
- Topic级别权限控制： 管理员可以对每个Topic设置读写权限，决定哪些用户或角色有权发送和订阅该主题的消息。
- Consumer组权限控制： 管理员可以为每个消费者组分配订阅权限，控制哪些用户或角色有权使用该消费者组并接收消息。
- IP地址访问控制： 管理员可以基于客户端的IP地址进行访问控制，只允许特定的IP地址范围访问消息中间件。
4、服务器开启ACL
首先我们查看RocketMq官网选择4.X版本的文档进行查看，找到控制权限菜单。链接：https://rocketmq.apache.org/zh/docs/4.x/bestPractice/04access
通过说明，我们可以看到权限控制配置文件位置在 /conf/plain_acl.yml ，知道配置文件后进入 conf 目录，首先先备份一份文件防止后面改错了无法恢复，然后在编辑该文件。
#备份文件
cp plain_acl.yml plain_acl.yml.init.bak
#编辑文件
vim plain_acl.yml
配置信息如下
#白名单中，不会走acl鉴权
globalWhiteRemoteAddresses:
#- 192.168.0.102
accounts: #用户信息，默认配置了两个用户信息。一个管理员用户，一个普通用户
- accessKey: rocket0001Mq #用户名
secretKey: 1234asdf #密码
whiteRemoteAddress: #192.168.0.102
admin: false
defaultTopicPerm: DENY
defaultGroupPerm: SUB
topicPerms:
- topicA=DENY
- topicB=PUB|SUB
- topicC=SUB
groupPerms:
# the group should convert to retry topic
- groupA=DENY
- groupB=PUB|SUB
- groupC=SUB
- accessKey: rocketAdminMq #用户名
secretKey: admin1234asdf #密码
whiteRemoteAddress: #192.168.1.*
# if it is admin, it could access all resources
admin: true
通过官网文档我们可以看到配置说明
权限说明：
plain_acl.yml 配置文件中按照上述说明定义好权限属性后，接下来我们需要修改 broker.conf 配置文件开启ACL开关。官网文档上面也给了相关说明，参照官网配置即可。
编辑 vim broker.conf 文件，在文件末尾加入配置 aclEnable=true
#所属集群名字
brokerClusterName=DefaultCluster
#broker名字，集群的时候不同的配置文件填写的不一样，如果在这里使用:broker-a,在另外一个使用:broker-b
brokerName=broker-a
#0表示Master，>0表示Slave
brokerId=0
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=48
#Broker角色 ASYNC_MASTER 异步复制/SYNC_MASTER 同步双写
brokerRole=ASYNC_MASTER
##刷盘方式 ASYNC_FLUSH 异步刷盘 SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#nameServer地址，多个，分号分割
namesrvAddr=192.168.42.130:9876
#设置IP 公网Ip
brokerIP1=192.168.42.130
#允许Broker自动创建Topic
autoCreateTopicEnable=true
#Broker 对外服务的监听端口
listenPort=10911
#开启ACL安全认证
aclEnable=true
开启后重新启动 Broker 程序。重启成功后，如果中间需要修改 plain_acl.yml 配置文件，修改成功后，不需要重新启动 BrokerStartup 重新了。ACL有自动重载机制，会自动加载已经修改的 plain_acl.yml 配置文件。
5、rocketmq-dashboard 开启认证
通过服务器端开启ACL后，在打开MQ监控中心 rocketmq-dashboard 发现报错了，已经连接不上mq服务器了，这就说明ACL开启成功了。报错信息 No accessKey is configured
[2024-05-17 11:53:30.956] INFO create MQAdmin instance ClientConfig [namesrvAddr=192.168.42.130:9876, clientIP=192.168.1.4, instanceName=1715918010272, clientCallbackExecutorThreads=8, pollNameServerInterval=30000, heartbeatBrokerInterval=30000, persistConsumerOffsetInterval=5000, pullTimeDelayMillsWhenException=1000, unitMode=false, unitName=null, vipChannelEnabled=false, useTLS=false, language=JAVA, namespace=null] success.
[2024-05-17 11:53:31.149] ERROR Unexpected error occurred in scheduled task
java.lang.RuntimeException: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionLoader.validate(PlainPermissionLoader.java:189) BROKER: 192.168.42.130:10911
For more information, please visit the url, http://rocketmq.apache.org/docs/faq/
at com.google.common.base.Throwables.propagate(Throwables.java:241)
at org.apache.rocketmq.dashboard.task.DashboardCollectTask.collectTopic(DashboardCollectTask.java:161)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.springframework.scheduling.support.ScheduledMethodRunnable.run(ScheduledMethodRunnable.java:84)
at org.springframework.scheduling.support.DelegatingErrorHandlingRunnable.run(DelegatingErrorHandlingRunnable.java:54)
at org.springframework.scheduling.concurrent.ReschedulingRunnable.run(ReschedulingRunnable.java:93)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run$$$capture(FutureTask.java:266)
at java.util.concurrent.FutureTask.run(FutureTask.java)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionLoader.validate(PlainPermissionLoader.java:189) BROKER: 192.168.42.130:10911
所以我们需要通过账号密码来连接mq服务器，在rocketmq-dashboard 的配置文件 application.properties 中添加账号密码信息。
rocketmq.config.accessKey=rocketAdminMq
rocketmq.config.secretKey=admin1234asdf
添加配置成功后重新打包部署到服务器。启动成功再次访问 rocketmq-dashboard
没有报错，启动成功。
6、Java通过认证方式连接
RocketMq开启ACL后，在不配置账号密码情况下，启动项目发送MQ消息的时候也会报错。报错信息如下：
2024-05-18 16:37:54.260 ERROR -[TaskUtils.java:95]- Unexpected error occurred in scheduled task
org.springframework.messaging.MessagingException: Send [3] times, still failed, cost [90]ms, Topic: blog_operation_sow, BrokersSent: [broker-a, broker-a, broker-a]
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionManager.validate(PlainPermissionManager.java:403) BROKER: 192.168.42.130:9876
No accessKey is configured 通过报错信息显示，需要配置账号和密码，所以需要配置ACL的连接信息连接Mq服务器发送消息。配置文件添加信息：
rocketmq: # rocketMQ配置
# name server地址
name-server: 192.168.42.130:9876
producer:
group: message_group
# 发送消息超时时间，默认3000
sendMessageTimeout: 10000
# 发送消息失败重试次数，默认2
retryTimesWhenSendFailed: 2
# 异步消息重试此处，默认2
retryTimesWhenSendAsyncFailed: 2
# 消息最大长度，默认1024 * 1024 * 4(默认4M)
maxMessageSize: 4096
# 压缩消息阈值，默认4k(1024 * 4)
compressMessageBodyThreshold: 4096
# 是否在内部发送失败时重试另一个broker，默认false
retryNextServer: false
access-key: rocketAdminMq # 拥有改 ‘message_group’组发送权限的用户信息
secret-key: admin1234asdf # 密码
consumer:
pull-batch-size: 10
group: message_group
access-key: rocketAdminMq # 拥有改‘message_group’组消费权限的用户信息
secret-key: admin1234asdf # 密码
配置成功后，测试消息发送信息：
// 定时向Mq发送数据
@Component
public class RocketStorage {
@Autowired
private RocketMQTemplate rocketMQTemplate;
@Scheduled(fixedDelay = 1000L * 60,initialDelay = 1000L * 20)
public void store() {
//String message = String.format("%s,%s,%s",value,type,timestamp);
System.out.println("aaaaaa");
rocketMQTemplate.convertAndSend("blog_operation_sow","aaaaaaaaa");
}
}
消费者监听接收数据：
@RocketMQMessageListener(consumerGroup = "message_group",topic = "blog_operation_sow")
public class RocketDataConsumer implements RocketMQListener {
@Autowired
@Qualifier("dataPersist")
private IDataPersist dataPersist;
@Override
public void onMessage(Object o) {
log.info("Operation RocketMq 接收到的信息 . . . . . .：{}",o);
dataPersist.put(o.toString(),1,System.currentTimeMillis());
}
}
启动项目查看控制台信息，可以看到数据发送和接收成功。
7、Java开启认证踩坑说明
7.1 问题记录
在配置文件加入 access-key 和 secret-key 后，刚开始一直报 AclException: No accessKey is configured 错误，但是配置文件中已经配置账号密码信息了。不知道为什么没有生效。后来看了一下引入的Maven依赖版本为：
<!--RocketMQ-->
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-spring-boot-starter</artifactId>
<version>2.2.1</version>
</dependency>
通过IDEA查看依赖jar包发现引入的RocketMq依赖版本高了。
通过上图可以看到，我们引入的客户端版本是4.9.1版本，但是服务器目前部署的版本是4.4.0。然后以为是maven依赖引入的版本太高了，就把rocketMq依赖降到了4.4.0版本。maven依赖如下：
<dependency>
<groupId>org.apache.rocketmq</groupId>
<artifactId>rocketmq-spring-boot-starter</artifactId>
<version>2.0.2</version>
</dependency>
再次通过IDEA查看客户端依赖，发现版本已经改为4.4.0了
修改maven依赖成功后，再次启动项目。以为这次会启动成功，但是还是启动失败了。版本问题已经解决了，就不是版本问题了。后来看了下相关问题说明。发现RocketMq是在4.4.0版本才开始有ACl认证的，可能是这个版本客户端不支持通过yaml 配置文件配置ACl的账号密码信息。需要手动进行编写Java配置文件进行发送消息。然后我就直接放弃了这种方法，直接升级服务器RocketMq版本从4.4.0升级为4.9.1。
7.2 升级版本
既然决定升级服务器RocketMq版本信息了，那就开干。有了之前的安装经验，这次也很好安装。首先在官网下载RocketMq的4.9.1版本。地址：https://rocketmq.apache.org/download 下载成功后上传服务器到rocketMq目录下。
进入rocktmq-4.9.1目录，按照之前的步骤进行操作即可。先修改启动脚本，先备份在修改。进入 bin 目录下开始备份。
cp runserver.sh runserver.sh.init.bak
cp runbroker.sh runbroker.sh.init.bak
修改JVM参数即可。备份成功后，然后在进入 conf 目录，修改配置文件信息并开启ACL配置，如何开启ACL和上面操作一致。我们也可以备份一下 broker.conf 和 plain_acl.yml 文件，把在rocketmq-4.4.0目录里面的配置信息直接拷贝到 rocketmq-4.9.1目录下面。拷贝成功后，给需要给配置文件授可执行权限。
chmod +x broker.conf plain_acl.yml
接下来就可以启动rocketmq了，按照之前方式启动即可。先启动 namesrv 在启动 broker。
nohup sh bin/mqnamesrv -n 192.168.42.130:9876 > /dev/null 2>&1 &
nohup sh bin/mqbroker -n 192.168.42.130:9876 -c conf/broker.conf autoCreateTopicEnable=true >/dev/null 2>&1 &
启动成功后，版本就升级成功了。由于rocketmq默认采用持久化存储，当使用持久化存储模式时，消息会被写入磁盘，并存储在指定的存储路径下。默认情况下，存储路径为$HOME/store也可以通过配置文件进行修改。在存储路径下，RocketMQ会根据一些规则和目录结构来组织消息存储文件。其中，消息数据文件commitlog存储在$HOME/store/commitlog目录下，而消费进度文件 consumequeue 存储在$HOME/store/consumequeue目录下。由于有持久化存储，所以原来的数据也不会丢失。
7.3 查看监控
由于RocketMq的配置文件还是采用之前的，所以不需要改动 rocketmq-dashboard 可以直接访问地址。查看集群信息：
从上图version 版本可以看出当前版本为 4.9.1 说明已经连接升级成功了。可以查看监控数据：
至此，RockeMq服务器版本升级完毕。
8、总结
通过以上方式，RocketMq安全措施就配置成功了。这是我自己在使用RocketMq的搭建过程，分享出来让大家少走弯路，中间也许会有一些地方考虑不周，欢迎各位指点。感谢大家阅读。
公众号文章链接：https://mp.weixin.qq.com/s/XTB9rrtpAh5q9QI6LkqSEw 如果文章对你有所帮助，欢迎大家点个推荐和关注。
