SpecCPU2017 测试cpu性能

SpecCPU介绍见:
https://blog.csdn.net/qq_36287943/article/details/103601539
官网:https://spec.org/

1、SpecCPU2017是一套CPU子系统测试工具,包括4大种类套件共43个基准测试。4大种类套件如下:
整数型:SPECrate 2017 Integer,对应用例编号为5xx
SPECspeed 2017 Integer,对应用例编号为6xx
浮点型:SPECrate 2017 Floating Point,对应用例编号为5xx
SPECspeed 2017 Floating Point,对应用例编号为6XX

SPEC基准广泛用于评估计算机系统的性能。SPEC CPU套件通过测量几个程序(例如编译器GCC,化学程序游戏和天气程序WRF等)的运行时间来测试CPU性能。

benchmark 基准如下:(安装目录内)

43个benchmark的使用场景如下表所示:(官网)

2、Spec2017测试有两种评估方式,分为speed和rate。speed是测试完成一项任务需要的时间,即速度测试;rate是测试单位时间内可以完成多少任务,即throughput(吞吐量测试)。speed和rate测试又有整数(Integer)和浮点(Floating Point)测试之分、base(基准测试)和peak(峰值测试)之分,如果是要生成报告的测试,要么是使用base,要么是base和peak一起用。可通过设置测试模式来实现:
--tune base 或者 --tune all 默认是base 可以选择base, peak, or all ,Report 首先是base,其次是peak.

speed与rate说明 (速度与吞吐量)
speed:包含10个整形测试和10个浮点测试。speed测试只运行一次测试题,测试分数高,说明单次运行时间短。
rate:包含10个整形测试和13个浮点测试,rate测试是运行多个相同的测试题,运行数量由测试者指定,分数高,代表更大的通量(固定时间处理问题的数量)
base与peak说明 (基准与峰值)
base:base是简单的标准的配置
peak:peak是可以提供更多个性化的配置编译选项

Spec2017 计算rate分值的公式:ratio=copies*(reference_time/test_time)
copies:指定相同问题的数量
reference_time:SPEC给出的参考时间
test_time:测试得出的时间
说明:公式含义为,参考时间与单份测试所用时间的比值。ratio越高表示相同时间可以处理更多的问题,即机器的通量高。本测试过程中设置copies,分别为对应cpu的核数。

Spec2017 计算speed分值算法公式:ratio=reference_time/test_time
reference_time:SPEC给出的参考时间
test_time:测试得出的时间
ratio越高表示完成同样的问题用时更少。

3、整数和浮点
cpu整数能力 (执行加法,减法,乘法)

cpu浮点能力(执行除法,也就是小数点的位移)

SpecCPU2017 工具安装步骤
1、下载软件(推荐使用1.0.5或更高版本的SPEC CPU 2017。本例中使用的版本为1.0.5)

a.SPEC官网下载SPEC CPU®2017测试工具。
https://www.spec.org/cpu2017/? ####官网收费下载

b.百度网盘下载cpu2017-1.05.iso
链接:https://pan.baidu.com/share/init?surl=kMoMJ5Ufg5oZql4HjyacAg
提取码:5thr

2、安装测试工具
安装步骤参考文章:
https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html

其中
a.在编译源码升级gcc时候mpc的包有点问题,需要重新官网下载源码包
https://mirrors.sjtug.sjtu.edu.cn/gnu/mpc/mpc-1.0.3.tar.gz
b.编译gcc时有个报错需要用到gcc-c++ ,故需要安装gcc-c++

3、测试步骤
a.Speccpu2017 安装完成需执行命令

source shrc

runcpu --config=spec17-opti-gcc7.3.cfg all --tune=all –reportable

runcpu --config=spec17-opti-gcc7.3.cfg all --threads 98 --copies=98 --tune=all –reportable

--threads 线程数(貌似指定后未生效仍是1)
-- copies参数的取值必须等于当前CPU核数

部分参数说明
runspec -config=xxx.cfg -size=ref -r 4 -tune=base -noreportable -o txt,screen,pdf -I -iterations=3 all

a)配置文件:--config spec17-opti-gcc7.3.cfg,配置文件中可以包含上述命令的所有信息,但是runspec命令的优先级高。此文件在spec的解压目录下,由上述文章中已有可直接使用。

b)测试规模: --size ref(测试规模有test,ref,train其中test最小跑的时间最短,如果测试编译器正确性的时候可以用test规模,但是想测试性能时候用ref)

c)测试次数:iterations=3次(编译器性能稳定时候测一次就行),也可以写成n 3;
tips:如果想得到加权统计的结果,也就是常说的cpu的spec分数,需要设置iterations大于等于3。

d)测试范围: all 表示进行fp和int测试(将all替换成intrate 或 fprate 进行定点和浮点的测试;将all替换成456/444等文件编号,表示对某一测试项进行单独测试)可选 'fprate', 'fpspeed', 'intrate', 'intspeed' or 'all'.

对于CPU的SPEC测试,默认这一项是all,但是对于其中的某一项测试分数不满意,可通过指定此测试项的编号,进行单独测试。测试也会得到一个分数,做单项的性能调优时候,可以用得到。

e)输出格式:-o text,screen,pdf 表示测试完成,生成报告的格式,依次分别是txt,屏幕显示和pdf格式,保存目录在spec解压目录result中。

f)noreportable && reportable : 表示检测/不检测生成的二进制文件是否修改过。

--reportable 如果原来生成的二进制文件被修改了,则运行时会自动重新编译生成二进制文件,确保运行的程序是原始的程序。

g)测试核数:-r 设置测试的CPU核心数目;

h)测试模式:-tune = base 基准测试;-tune = peak 峰值测试;-tune默认是base 可以选择base, peak, or all ,Report 首先是base,其次是peak.

i)-I : 表示测试中,如遇报错,略过错误继续测试;

正确运行结果如下:

运行过程

Runcpu 运行时间会很长,大概3天以上

运行结果汇总在安装目录下的result目录下

在运行过程中,需要查看执行完哪些用例可以查看
cat cat CPU2017.001.log.debug | grep -i success

参考资料
[1] https://blog.csdn.net/qq_36287943/article/details/103601539
[2]https://support.huaweicloud.com/instance-evaluation-ecsie/ecsie_ipeg_0001.html
[3]https://www.spec.org/cpu2017/Docs/quick-start.html
[4]https://www.spec.org/cpu2017/Docs/runcpu.html
[5]https://www.spec.org/cpu2017/Docs/overview.html

问题1:
测试Intel(Intel(R) Xeon(R) Gold 5220 CPU @ 2.20GHz 共72C) cpu时候执行命令报错
runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 --tune=all –reportable
查看top 服务器的负载到80%+,查看执行过程中发现

未能发现有用信息,结合服务器cpu负载为80%+,cpu使用率搭99%,判断可能是cpu超负载运行,从而把程序kill 掉,继续查看执行的步骤发现 copies 指定为 96(配置文件内被写死了) 而服务器为72核

修改执行命令加上参数
runcpu --config=spec17-opti-gcc7.3.cfg fprate –threads 72 —copies=72 --tune=all –reportable
之后 copies 显示为72,用例可以继续执行下去

问题2:执行命令指定的线程数未生效,暂未找到原因

其他参数见:
https://www.spec.org/cpu2017/Docs/runcpu.html

posted @ 2022-04-30 20:46  忧郁的小柒  阅读(11669)  评论(0编辑  收藏  举报