Count-min Sketch 算法

Count-min Sketch 算法

参考资料:

Count-min Sketch 就像是一个 极致压缩的记账本,专门用来在海量数据流中快速统计某个东西出现的次数。

你可以把它理解为“带计数功能的布隆过滤器”。它的核心特点可以概括为以下三点:

1. 极致省内存,但允许一点误差 它不建立庞大的明细账单,而是通过几个哈希函数,把数据随机映射到一个小表格里的不同位置进行累加。用极小的内存(比如几十 KB)就能对付百万千万级的数据量。代价是会发生“撞车”(哈希冲突),导致查询结果可能会比实际偏大(这是一个估算的上限值),但绝对不会比实际偏小。

2. 原理简单直接

  • 记账时: 收到一个数据,把它扔进几个不同的哈希函数,算出一组格子位置,把这些格子里的数字统统加 1。
  • 查账时: 用同样的哈希函数找到那几个格子,看一眼里面的数字,挑出 最小的那个。因为别的格子可能被其他数据“撞车”多加了,最小的那个最接近真相。

3. 专攻大数据实时场景 它特别适合那种“不求绝对精准,但求速度极快、极其省内存”的工业场景。比如统计微博的热搜词频、监控网络流量里出现最频繁的异常 IP、或者在电商网站找出浏览量最大的爆款商品。

posted @ 2026-10-15 10:52  光風霽月  阅读(12)  评论(0)    收藏  举报