怎么理解cache容量越大，缺失率越低？

Cache容量与命中率的关系

核心原理：局部性原理

• ​时间局部性
  近期被访问的数据很可能被再次访问。大容量Cache能保留更多历史数据，减少因容量不足导致的替换。

• ​空间局部性
  访问某个数据后，其相邻数据可能被访问。大Cache能缓存更大范围的连续数据，减少跨块访问缺失。

---

示例：循环遍历数组

场景

• ​数组大小：100个元素，每个元素占1个Cache行。
• ​对比案例：
  • ​小Cache（容量10行）​
  • ​大Cache（容量100行）​

小Cache的表现

1. ​首次循环
   • 加载前10个元素（行0-9）。
   • 访问第11个元素时替换行0，后续访问需持续替换旧行。
2. ​后续循环
   • 元素0可能已被替换，导致缺失。
3. ​命中率
   • 极低，仅当访问数据恰好在Cache中时命中。

大Cache的表现

1. ​首次循环
   • 整个数组（100行）加载到Cache。
2. ​后续循环
   • 所有数据已在Cache中，无需替换。
3. ​命中率
   • 首次循环后接近100%。

---

容量增大的优势

1. ​减少冲突未命中（Conflict Miss）​

   • 小Cache因哈希冲突被迫替换数据，大Cache通过增加行数或相联度降低冲突。

2. ​减少容量未命中（Capacity Miss）​

   • 小Cache无法容纳活跃数据（工作集），大Cache可缓存更多数据。

3. ​提升预取效率

   • 大Cache能缓存更多相邻数据（如整个数组），利用空间局部性。

---

实际设计中的权衡

因素	影响
​成本	容量越大，芯片面积和功耗越高。
​访问延迟	大Cache物理距离增加，可能增加访问延迟（如L3比L1慢）。
​边际效应	容量覆盖工作集后，继续增大对命中率提升有限。

---

结论

• ​本质：大容量Cache更充分利用局部性原理，减少替换和缺失。
• ​设计目标：在命中率、成本和延迟之间寻找平衡。