对缓存的思考【续】——编写高速缓存友好代码

开篇

上一篇博文对缓存的思考——提高命中率详细介绍了高速缓存的组织结构，并通过实例说详细明了cpu从高速缓存中取数据的过程，对于缓存的工作机制应该有了清晰的认识。这篇博文就来简单讨论以下对于缓存在实际开发中的应用，这里将告诉你如何让你的程序充分利用该缓存，即如何编写高速缓存友好的代码。

提示：如果高速缓存的运行机制还没有清晰的认识，请参照前面文章。

注1：关于文中提到的局部性的相关知识参照：局部性原理浅析——良好代码的基本素质

注2：这是一个系列的文章，收录在程序性能优化

注3：文章知识有些地方不容易理解，所以用心才能看完噢。

“用空间换时间”

在搞算法的时候经常能听到这种说法，算法研究中通常要考虑算法的时间、空间复杂度。而这里“用空间换时间”说的是通过牺牲一些存储块代码更有效的利用缓存。从而提高程序的运行效率。可见，高效的代码不仅依赖于良好的算法，编写缓存有好代码也很重要。

我们将通过下面的例子来认识这一过程

注：这里假设高速缓存是直接映射的，即每一组只有一行。

通过”局部性“相关的知识，我们可以看出上面的代码有良好的空间局部性：一维向量 x[ ] 、y[ ] 都是对其元素进行步长为1的顺序访问。那么，拥有良好局部性的代码，是否就能有效的利用高速缓存呢。不一定。

设上面代码运行在拥有直接映射缓存的计算机上。

为了把问题描述清楚，这里有一些假设

1、float 是4 byte，所以数组x[ ]占用空间为32byte，y[ ]也一样

2、x[ ]存储在内存中地址0-31的位置，y[ ]紧随其后在地址开始为32的连续位置。（如果觉得牵强你可理解为虚拟地址）

3、直接映射高速缓存有两个组，每组的大小为16byte。也就是高速缓存中每组可存储4个元素。

根据这些假设，每个x[i]、y[i]会被映射到相同的高速缓存组

元素和缓存之间的映射关系如下图所示

图被中间的双线条分为左右两栏，左边是x[ ]的情况，右边y[ ]的情况。

看左边的一栏，左边的一列代表的x 中的元素，中间的是元素在内存中的地址，第三列是该元素映射在缓存中的组号。

为什么会是这样分配的呢，其实在上一篇博文中就有提到。（参看前面的博客会有更好的效果）

这里还是简单的说一下：

主存中的数据是根据地址被映射到缓存的不同位置的，二进制地址的不同位代表不同的信息，一般来说从左到右分别代表：行、组、偏移。

缓存的每一行是16byte，从而可推断缓存的地址位是4 。因为4个二进制的组合共有16种情况（也即2的4次方是16）。

下表是它们地址各个位及代表的信息。

X[ ]:

注：这里的地址不是元素的真实地址，指的是块地址。x有八个元素，每个元素占四个byte，我们把这四个byte当作一个整体，那么x[0]就是第一块，x[1]为第二块，以此类推。y的情况相同。

上图中，阴影部分的为地址的二进制表示形式。每个地址被表示成了四位的二进制数。

其中：

左边一位标记行。因为是直接映射，每组只有一行，所以一位就能表示。

左边第二位标记组。我们讨论的这个缓存只有两个组，一位就能标记。

右边两表示偏移。每行中有四个数据块，所以两位能标识。

可以看出，x[ ]的前四个元素属于同一组，后四个为另一组。

下面是y[]的情况：

现在对于刚才那个图（如下）应该有更清楚的认识了把。

x[i]和y[i]有相同的组标记、不同的行标记，这就意味着x[i]和y[i]不能同时存在于缓存中。

下面模拟一下上述代码的执行过程。我们假设局部变量sum存于cpu寄存器中。

计算x[0]*y[0]

取x[0]

刚开始的时候缓存还没预热，每一行的标记为都为不可用。所以取x[0]的时候缓存不命中，缓存从下一级存储中取出包括x[0]的整行，放入缓存第0组中，并返回x[0]给cpu。这时缓存第一组中的元素有x[0]、x[1]、x[2]、x[3]

此时缓存的情况如下图所示

缓存中的元素为蓝色背景的部分

组序号为1的行都还没初始化。

取y[0]

y[0]对应的块地址是8，即1 0 00 组标记是0，行标记1，不命中。于是取出包括y[0]的行，并放入缓存中。此时的缓存情况：

取x[1]，缓存不命中，当取了x[0]本有x[1]在缓存中，当取y[0]的时候，这一行被覆盖了。所以只能把包括x[1]行的行取出放入缓存（覆盖y行），并返回x[1]。取了x[1]后的缓存情况和取出x[0]的情况一样：

当取y[1]的时候，缓存不命中，又把上面x行替换为y行。

可以推理出，取出x和y 的元素总是不命中。

空间换时间

因为x[i]、y[i]映射到了相同的组，现在的这种情况称为冲突不命中，每次对x和y 的引用都会造成冲突不命中。这一情况用“抖动”来描述。

简单的说，即使程序有良好的时间局部性，且缓存也有足够大小的空间来缓存，也会发生抖动。因为x[i]、y[i]被映射到了相同的缓存组。

幸运的是，可以修正这种情况，让x[i],y[i]映射到不同的缓存组。

一个简单的方法就是增加x的长度。给x分配12个float大小的空间。这样y的其实地址就是18而不是32

如下图所示：

这样当引用x[0]的时候把x[0]、x[1]、x[2]、x[3]放入组0中，引用y[0]的时候把y[0],y[1],y[2],y[3]放入组1 中。

于是对引用x[1]~x[3]的引用就就能直接从缓存中获取，同样对y[1]~y[3]的引用也能从缓存中获取

相比于刚开始的情况，大大增加了缓存的使利用。同时也提高了程序的性能，特别是当数据量很大的时候。

实质通过在x的后面追加元素，让y的其实地址后移，让y对应的组号发生改变。当然在x后面追加元素只是占用了一部分空间，那些空间并没有被利用，但是提高了程序的性能。

所以才说“用空间换时间”

为什么用中间位作为组索引?

用中间位作为组索引是有原因的。

如果用最高位做索引

情况如上图中的中间所示，连续的块都别映射到了同一个组中（特别的，如果是直接映射高速缓存，连续的块被映射到同一行中）这样的确也能利用缓存，如上图所示，当引用第一个元素的时候，会把第1、2、3、4个拷贝到缓存的组0中，以后对2、3、4的引用就能直接在缓存中提取。引用第5个元素的时候，把第5、6、7、8个拷贝到缓存的组1中，同样的，对4、5、6的引用能直接在缓存中提取。后面的情况类似就不再叙述。

通过上面的叙述，你可能已经发现一个问题：当对缓存的组1进行操作的时候，缓存中的其它组是没有被利用的，这和缓存中只有一个组其实效果是一样的。对缓存中的其他组没有很好的利用，也就是说，虽然也有缓存的利用，但有最大化。

改用中间位做索引，如上图中的右图所示，同一组中的块不再是连续的，这样可以保证缓存中的所有组都能被有效的利用。

引用第1个元素的时候，将把第1、5、9、13放入缓存组1中

引用第2个元素的时候，把第2、6、10、14放入缓存

引用第3个，把3、7、11、15放入缓存

引用第4个，把4、8、12、16放入缓存

这样对前四个元素的引用都不会命中，而而对后面的引用都能命中。这种过程也就是所谓的缓存预热。

高速缓存友好代码

一维数组

上面的讨论我们假设了一种特殊的情况，下面将对如何编写高速缓存友好代码做更加泛化的讨论

先看下面的代码