openGauss源码解析（83）

openGauss源码解析：事务机制源码解析（14）

2. Cache align消除伪共享

CPU在访问主存时一次会获取整个缓存行的数据，其中x86典型值是64字节，而ARM 1620芯片L1和L2缓存都是64字节，L3缓存是128字节。这种数据获取方式本身可以大大提升数据访问的效率，但是假如同一个缓存行中不同位置的数据频繁被不同的线程读取和写入，由于写入的时候会造成其他CPU下的同一个缓存行失效，从而使得CPU按照缓存行来获取主存数据的努力不但白费，反而成为性能负担。伪共享就是指这种不同的CPU同时访问相同缓存行的不同位置的性能低效的行为。

以LWLock为例，代码如下所示：

#ifdef __aarch64__

#define LWLOCK_PADDED_SIZE PG_CACHE_LINE_SIZE(128)

#else

#define LWLOCK_PADDED_SIZE (sizeof(LWLock) <= 32 ? 32 : 64)

#endif

typedef union LWLockPadded

{

LWLocklock;

charpad[LWLOCK_PADDED_SIZE];

} LWLockPadded;

当前锁逻辑中LWLock的访问仍然是最突出的热点之一。如果LWLOCK_PADDED_SIZE是32字节，且LWLock是按照一个连续的数组来存储的，对于64字节的缓存行可以同时容纳两个LWLockPadded，128字节的缓存行则可以同时含有4个LWLockPadded。当系统中对LWLock竞争激烈时，对应的缓存行不停地获取和失效，浪费大量CPU资源。故在ARM机器的优化下将padding_size直接设置为128，消除伪共享，提升整体LWLock的使用性能。

3. WAL INSERT 128CAS无锁临界区保护

目前数据库或文件系统，WAL需要把内存中生成的日志信息插入到日志缓存中。为了实现日志高速缓存，日志管理系统会并发插入，通过预留全局位置来完成，一般使用两个64位的全局数据位置索引分别表示存储插入的起始和结束位置，最大能提供16EB(Exabyte)的数据索引的支持。为了保护全局的位置索引，WAL引入了一个高性能的原子锁实现每个日志缓存位置的保护，在NUMA架构中，特别是ARM架构中，由于原子锁退避和高跨CPU访问延迟，缓存一致性性能差异导致WAL并发的缓存保护成为瓶颈。

优化的主要涉及思想是将两个64位的全局数据位置信息通过128位原子操作替换原子锁，消除原子锁本身在跨CPU访问、原子锁退避（backoff）、缓存一致性代价。如图5-21所示。

图5-21 128CAS无锁临界区保护示意图

全局位置信息包括一个64位起始地址和一个64位的结束地址，将这两个地址合并成为一个128位信息，通过CAS原子操作完成免锁位置信息的预留。在ARM平台中没有实现128位的原子操作库，openGauss通过exclusive命令加载两个ARM64位数据来实现，ARM64汇编指令为LDXP/STXP。

关键数据结构及函数ReserveXLogInsertLocation的代码如下：

typedef union {

uint128 u128;

uint64 u64[2];

uint32 u32[4];

} uint128_u; /* 为了代码可读及操作，将u128设计成union的联合结构体，内存位置进行64位数值的赋值。 */

static void ReserveXLogInsertLocation(uint32 size, XLogRecPtr* StartPos, XLogRecPtr* EndPos, XLogRecPtr* PrevPtr)

{

volatile XLogCtlInsert* Insert = &t_thrd.shemem_ptr_cxt.XLogCtl->Insert;

uint64 startbytepos;

uint64 endbytepos;

uint64 prevbytepos;

size = MAXALIGN(size);

#if defined(__x86_64__) || defined(__aarch64__)

uint128_u compare;

uint128_u exchange;

uint128_u current;

compare = atomic_compare_and_swap_u128((uint128_u*)&Insert->CurrBytePos);

loop1:

startbytepos = compare.u64[0];

endbytepos = startbytepos + size;

exchange.u64[0] = endbytepos; /* 此处为了代码可读，将uint128设置成一个union的联合结构体。将起始和结束位置写入到exchange中。 */

exchange.u64[1] = startbytepos;

current = atomic_compare_and_swap_u128((uint128_u*)&Insert->CurrBytePos, compare, exchange);

if (!UINT128_IS_EQUAL(compare, current)) { /* 如果被其他线程并发更新，重新循环*/

UINT128_COPY(compare, current);

goto loop1;

}

prevbytepos = compare.u64[1];

#else

SpinLockAcquire(&Insert->insertpos_lck); /* 其余平台使用自旋锁原子锁来保护变量更新 */

startbytepos = Insert->CurrBytePos;

prevbytepos = Insert->PrevBytePos;

endbytepos = startbytepos + size;

Insert->CurrBytePos = endbytepos;

Insert->PrevBytePos = startbytepos;

SpinLockRelease(&Insert->insertpos_lck);

#endif /* __x86_64__|| __aarch64__ */

*StartPos = XLogBytePosToRecPtr(startbytepos);

*EndPos = XLogBytePosToEndRecPtr(endbytepos);

*PrevPtr = XLogBytePosToRecPtr(prevbytepos);

}