Redis学习4 基于Redis实现的消息队列

夢の中で描いた絵のようなんだ

基于Redis实现的消息队列

消息队列

消息队列(MessageQueue)，字面意思就是存放消息的队列。最简单的消息队列模型包括3个角色:

消息队列:存储和管理消息，也被称为消息代理(MessageBroker)
生产者:发送消息到消息队列
消费者:从消息队列获取消息并处理消息

基于Redis实现的消息队列

Redis提供了三种不同的方式来实现消息队列:

List:基于List结构（双向链表）模拟消息队列
PubSub:基本的点对点消息模型
Stream:比较完善的消息队列模型

基于List的消息队列

Redis的list数据结构是一个双向链表，很容易模拟出队列效果。

队列是入口和出口不在一边，因此我们可以利用:LPUSH结合RPOP、或者RPUSH结合LPOP来实现。不过要注意的是，当队列中没有消息时RPOP或LPOP操作会返回null，并不像JVM的阻塞队列那样会阻塞并等待消息，因此这里应该使用BRPOP或者BLPOP来实现阻塞效果。

示意图如下：

基于List的消息队列的优缺点如下：

优点:

利用Redis存储，不受限于JVM内存上限
基于Redis的持久化机制，数据安全性有保证
可以满足消息有序性.

缺点:

无法避免消息丢失
只支持单消费者

基于PubSub的消息队列

Pubsub(发布订阅)是Redis2.0版本引入的消息传递模型。顾名思义，消费者可以订阅一个或多个channel，生产者向对应channel发送消息后，所有订阅者都能收到相关消息。

其基本操作如下：

SUBSCRIBE channel [channel]:订阅一个或多个频道
PUBLISH channel msg:向一个频道发送消息
PSUBSCRIBE pattern [pattern]:订阅与pattern格式匹配的所有频道

示意图如下：

基于PubSub的消息队列的优缺点：

优点:

采用发布订阅模型，支持多生产、多消费

缺点:

不支持数据持久化
无法避免消息丢失
消息堆积有上限，超出时数据丢失

基于Stream的消息队列

Stream是Redis5.0引入的一种新数据类型，可以实现一个功能非常完善的消息队列。

发送消息使用XADD命令，其格式如下：

读取消息使用XREAD命令，其格式如下：

测试效果如下：

添加阻塞效果如下：

阻塞等待

获取到消息

Redis内容如下：

但是如果将$为最新消息ID读取的话有个问题：如果为接受或处理最新消息而处于阻塞状态的话，那么在这期间新增多条消息，再次读取只能接收到这多条信息中最新的消息，也就是出现了消息漏读的情况，例如下图情况：

基于Stream的XREAD和XADD命令的消息队列有如下特点：

优点：

消息可回溯
一个消息可以被多个消费者读取
可以阻塞读取

缺点：

有消息漏读的风险

基于Stream的消息队列-消费者组

消费者组(Consumer Group):将多个消费者划分到一个组中，监听同一个队列。具备下列特点:

消息分流：队列中的消息会分流给组内的不同消费者，而不是重复消费，从而加快消息处理的速度

消息标示：消费者组会维护一个标示，记录最后一个被处理的消息，哪怕消费者宕机重启，还会从标示之后读取消息。确保每一个消息都会被消费

消息确认：消费者获取消息后，消息处于pending状态，并存入一个pending-list。当处理完成后需要通过XACK来确认消息，标记消息为已处理，才会从pending-list移除。

基本操作

创建消费者组：

XGROUP CREATE key groupname ID|$ [MKSTREAM]

key:队列名称
groupName:消费者组名称
ID:起始ID标示，$代表队列中最后一个消息，0则代表队列中第一个消息
MKSTREAM:队列不存在时自动创建队列

查看消费者组，其中key表示消息队列名称

XINFO GROUPS key

其返回值包含信息如下：

name‌：消费者组名称。
consumers‌：组内当前的消费者数量。
pending‌：组内当前待处理（已读取但未ACK）的消息总数。
last-delivered-id‌：组内最后一个被投递给消费者的消息 ID，用于追踪消费进度。

执行效果如下：

删除指定的消费者组，其中key表示消息队列名称，groupname表示消费者组名称

XGROUP DESTROY key groupname

给指定的消费者组添加消费者，其中key表示消息队列名称，groupname表示消费者组名称，consumername表示消费者名称

XGROUP CREATECONSUMER key groupname consumername

删除指定的消费者组中的消费者，其中key表示消息队列名称，groupname表示消费者组名称，consumername表示消费者名称

XGROUP DELCONSUMER key groupname consumername

查看消费者组内的消费者，其中key表示消息队列名称，groupname表示消费者组名称

XINFO CONSUMERS key groupname

其返回值包含信息如下：

name‌：消费者名称。
pending‌：该消费者当前持有且未ACK的消息数量。如果此值长期不为0，可能意味着消费者处理失败或宕机。
idle‌：消费者空闲时间（毫秒），即距离上一次成功执行读取或认领操作的时间。用于判断消费者是否存活。

查看消费者的PendingList内的消息，即该消费者当前持有且未ACK的消息数量

XPENDING key groupname [-|+] [count] [consumer-name]

其中命令参数如下：

key：队列名称。
groupname>：消费者组名称。
-和+‌：表示查询ID范围的起始和结束，通常使用- +表示查询所有pending消息。
count：限制返回的消息数量。
consumer-name：可选参数，指定只查看某个特定消费者的pending消息。

其返回值包含信息如下：

Message ID‌：消息的唯一标识符。
Consumer Name‌：当前持有该消息的消费者名称。
Idle Time‌：消息处于pending状态的时间（毫秒），即距离最后一次投递给消费者的时间。
Delivery Count‌：消息被投递的次数。如果该值大于 1，说明消息曾被认领（XCLAIM）或重试过。

从消费者读取消息

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...]

group:消费组名称
consumer:消费者名称，如果消费者不存在，会自动创建一个消费者
count:本次查询的最大数量
BLOCK milliseconds:当没有消息时最长等待时间
NOACK:无需手动ACK，获取到消息后自动确认
STREAMS key:指定队列名称
ID:获取消息的起始ID:

>:从下一个未消费的消息开始
其它:根据指定id从pending-list中获取已消费但未确认的消息，例如0，是从pending-list中的第一个消息开始