数据库冷热数据分离

1、一般应用的冷热数据,都是由时间周期(创建时间)决定的,时间是最常用标准。
但更精细的做法是“时间 + 访问频率 + 业务权重”。例如:
一条3个月前的订单(时间冷),但被发起售后(访问频次瞬间变热),需要临时拉回热库。
普通日志数据,可能3天就冷;财务对账单,可能3年都还是“温数据”。
2、热数据:离当前时间比较近的数据,访问比较频繁的数据。反之为冷数据。
还有根据数据本身的访问热度来区分
image

3、冷热分离的本质:平衡“三大成本”:
存储成本:热库用SSD+内存(贵),冷库用SATA HDD/归档存储(便宜)。
查询性能:热库数据量小(如你说的500万),索引命中率高,将热数据剥离出去,核心保证其性能;冷库允许秒级甚至分钟级响应。
维护复杂度:分离得越彻底,维护(如跨库join、查询路由)越复杂,实际操作时要在性能和维护性之间保持平衡,即保证结果的合理和有效

4、数据迁移的触发方式:
可用job在凌晨时自动迁移,也有用MQ进行数据同步的(区分生产库和历史库),原则上在生产上只保留500万左右的数据
image

5、常见陷阱与应对
image

6、大部分互联网公司的“订单/日志/行为数据”,通常采用冷热分离的“三层漏斗”模型:
写入 → 热缓存(Redis,分钟级,最新写入的数据供高频读写) → 热数据库(MySQL/PG,<500万,缓存失效后落入热库,支持毫秒级查询) → 冷数据库/对象存储(超时/超量数据自动下沉到冷存储,可接受秒级甚至分钟级查询)
image
image

posted @ 2026-06-08 20:07  愿鲁且愚  阅读(56)  评论(0)    收藏  举报