UIO,大页内存,CPU亲和性,NUMA机制等

Linux环境下的UIO(Userspace I/O)


UIO 用户空间下驱动程序的支持机制。DPDK使用UIO机制使网卡驱动程序运行在用户态,并采用轮询和零拷贝方式从网卡收取报文,提高收发报文的性能。

Linux系统中一般的驱动设备都是运行在内核空间,而在用户空间用应用程序调用即可,而UIO则是将驱动的很少一部分运行在内核空间,而在用户空间实现驱动的绝大多数功能。使用UIO可以避免设备的驱动程序需要随着内核的更新而更新的问题

编译UIO

sudo /sbin/modprobe uio

CPU的物理核,逻辑核概念


一个物理封装的CPU(通过physical id区分判断)可以有多个核(通过core id区分判断)。而每个核可以有多个逻辑cpu(通过processor区分判断)。一个核通过多个逻辑cpu实现这个核自己的超线程技术

  • 可以通过以下的命令来查看:
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
  • 查看CPU型号:
cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c

处理器核心数

processor cores,即俗称的“CPU核心数”,也就是每个物理CPU中core的个数
例如“Intel Core i3-2310M”是双核处理器,它有2个“处理器核心数”。

  • 可以通过以下的命令来查看:
cat /proc/cpuinfo| grep "cpu cores"| uniq
  • 具有相同core id的CPU是同一个core的超线程

逻辑处理器数

逻辑处理器数英文名是logical processors,即俗称的“逻辑CPU数”,

  • 逻辑核心处理器,就是虚拟物理核心处理器的一个超线程技术
  • 例如“Intel Core i3-2310M”支持超线程,一个物理核心能模拟为两个逻辑处理器,即一块“Intel Core i3-2310M”有4个“逻辑处理器数”。
  • 可以通过以下的命令来查看:
cat /proc/cpuinfo| grep "processor"| wc -l
  • SIBLING:SIBLING是内核认为的单个物理处理器所有的超线程个数,也就是一个物理封装中的逻辑核的个数。如果SIBLING等于实际物理核数的话,就说明没有启动超线程,反之启用超线程。

超线程

采用超线程即是可在同一时间里,应用程序可以使用芯片的不同部分。虽然单线程芯片每秒钟能够处理成千上万条指令,但是在任一时刻只能够对一条指令进行操作。而超线程技术可以使芯片同时进行多线程处理,使芯片性能得到提升。

虽然采用超线程技术能同时执行两个线程,但它并不象两个真正的CPU那样,每个CPU都具有独立的资源。当两个线程都同时需要某一个资源时,其中一个要暂时停止,并让出资源,直到这些资源闲置后才能继续。因此超线程的性能并不等于两颗CPU的性能。

如果有两个逻辑CPU具有相同的”core id”,那么超线程是打开的。

CPU亲和性


CPU的亲和性也就是cpu affinity机制,指的是进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他处理器, 通过处理器关联可以将虚拟处理器映射到一个物理处理器上 ,也就是说把一个程序绑定到一个物理CPU上。

而且在多核运行的机器上,每个CPU本身自己会有缓存,缓存着进程使用的信息,而进程可能会被OS调度到其他CPU上,如此,CPU cache命中率就低了。当一个进程或线程绑定CPU后,程序就会一直在指定的cpu跑,不会由操作系统调度到其他CPU上,减少了cache miss,提高性能和效率。

NUMA机制


查看系统是否支持NUMA机制:

grep -i numa /var/log/dmesg

查看输出结果:

  • 如果输出结果为:
    No NUMA configuration found
    说明numa为disable
  • 如果不是上面的内容说明numa为enable

查看系统NUMA详细信息:

numactl --hardware

一个物理cpu对应一个node,系统还会为每个node分配一定的大小的内存。也就是说如果服务器只有一个物理cpu,那么就只有一个node0,领取系统全部的内存和cpu。个人的PC好像也只有一个CPU,所以只有node0。但是在大型的服务器上会有多个node,这时每个node都会被分配到一定的内存。

NUMA的基本原理

CPU访问自身直接attach内存(就是系统给每个node分配的内存)对应的物理地址时,才会有较短的响应时间,俗称Local Access,如图标识的”fast”,如果需要访问其他cpu attach的内存的数据时,就需要通过inter-connect通道来访问,相比之前的访问速度要慢一些,俗称Remote Access ,如图标识的”slow”,那么在dpdk的使用过程中,配置NUMA模式和NoNUMA模式是加快访问速度的方法而已。

posted @ 2019-03-15 16:05  isLiuhy  阅读(2871)  评论(0编辑  收藏  举报