亿级流量网站架构核心技术 第十五章 队列术

应用场景

1 异步处理

2 系统解耦

3 数据同步

4 流量削峰

 

 

 

 

缓冲队列

批量处理，异步处理，平滑流量

 

 

 

 

任务队列

异步处理，任务分解

 

 

 

 

消息队列

异步处理，系统解耦，数据异构

 

 

 

请求队列

 

 

 

数据总线队列

 

 

 

混合队列

 

 

 

 

disruptor+redis队列

1 简介

　　disruptor是LMAX开源的一个高性能异步处理框架，提供了高性能无锁内存队列实现，优化了CPU伪共享，用于构建低延迟高吞吐量的交易型应用

　　可以构建复杂的任务工作流

 

 

 

下单系统水平可扩展架构

订单放入缓冲队列，再同步到订单中心

 

 

 

基于Canal实现数据异构

订阅数据库变更日志，如binlog日志，解析变更日志将数据写到订单列表，实现数据异构

canal是基于mysql数据库binlog的增量订阅和消费组件