摘要:
1. rabbitmq消息顺序错乱 (1)场景:顺序消息 分发给不同消费者后,处理速度不一样,写入数据库书序乱掉 (2)解决方案: 给每个消费者开一个queue,需要保证数据的3个数据,放在同一个queue中 阅读全文
posted @ 2022-04-10 18:53
狒狒桑
阅读(90)
评论(0)
推荐(0)
摘要:
1. kafka自己丢消息的场景 kafka接受到消息时,leader宕机,切换的follower没有拿到消息 解决方案:设置leader和follower同步完成才算本次写成功,否则会无限次自动重发、消息写入成功判定标准、retries的值 ==> 这样能确保消息肯定不会丢 2. 消费者弄丢消息 阅读全文
posted @ 2022-04-10 18:32
狒狒桑
阅读(235)
评论(0)
推荐(0)
摘要:
1. 丢失消息场景 (1)生产者写消息网络丢失 (2)rabbitmq收到消息,mq故障 (3)消费者收到消息后,消费者故障 2. 对应处理方案 (1)生产者弄丢了数据 <1> 基于事务,rabbitmq报错,则回滚重发 问题:事务机制,是同步的,会卡主等待消息发送成功,会导致生产者发送消息的吞吐量 阅读全文
posted @ 2022-04-10 18:14
狒狒桑
阅读(321)
评论(0)
推荐(0)
摘要:
kafka mq重复消费问题 1. 实现逻辑:offset --消息顺序的序号,消费完,消费端会提交回去 2. 消息重发场景: 消费者不是说消费完一条数据就立马提交offset,二十定时定期提交一次offset 问题:准备提交但未提交时,消费者进程被重启, 会出现已消费未提交的offset丢失 ka 阅读全文
posted @ 2022-04-10 18:03
狒狒桑
阅读(186)
评论(0)
推荐(0)
摘要:
1. kafka高可用架构 -- 分布式,分块存储、分块备份 阅读全文
posted @ 2022-04-10 17:47
狒狒桑
阅读(51)
评论(0)
推荐(0)
摘要:
1. rabbitMQ普通集群模式 非高可用 缺点1:可能会在rabbitmq集群内部产生大量数据传输 缺点2:可用性几乎没法保障,如果queue所在节点宕机,消息请求就丢失了 2. rabbitmq的镜像集群模式 高可用:任何一个节点宕机,其他节点上海包含着完整的元数据,别的消费者还可以再其他节点 阅读全文
posted @ 2022-04-10 17:35
狒狒桑
阅读(66)
评论(0)
推荐(0)
摘要:
1. MQ - 解耦 (1)不用MQ处理解耦 其他系统的接入,导致额外修改 其他系统的稳定性影响 是否要重试 (2)使用MQ 2. MQ-异步 (1)不用MQ的同步高延时场景 (2)使用MQ进行异步化之后的接口性能优化 3. MQ-削峰 (1)不使用MQ高峰期系统被打死的场景 (2)使用MQ进行削峰 阅读全文
posted @ 2022-04-10 17:23
狒狒桑
阅读(246)
评论(0)
推荐(0)