[Tool] fio的介绍与使用
1. 前言
fio 会生成多个线程或进程，按照用户指定的方式执行特定类型的 I/O 操作。fio 接受一些全局参数，每个线程都会继承这些参数，也可以通过局部设置来覆盖全局设置。fio 的一个典型用法就是编写一个与用户想要模拟的 I/O 负载相匹配的作业文件。
2. 语法
fio [options] [jobfile] ...
常见的 2 种用法：
1. fio 命令行模式
2. fio client/server模式
fio 命令行模式意思是在命令行中直接执行测试的完整命令，不需要任何配置文件。包括纯命令行模式和配置文件模式。在配置文件模式下，配置文件中定义的所有参数都可以直接应用在命令行模式中。
fio client/server 模式是 fio 的另一种用法，需要提供 host 配置文件和 jobfile 文件，主要用于多客户并发测试场景。
3. 参数
下面以一个例子来说明 fio 用法：
fio \
--name=test \
--ioengine=libaio \
--directory=/mnt/testfs \
--direct=1 \
--sync=0 \
--time_based \
--runtime=2m \
--ramp_time=10 \
--iodepth=16 \
--rw=randwrite \
--size=1G \
--bs=4k \
--thread \
--numjobs=32 \
--stonewall \
--group_reporting
上述命令是测试 4k 随机写性能，该命令将启动 32 个线程，每个线程将执行一个 job。每个 job 将在/mnt/testfs 目录下创建不同的文件，每个文件的大小为 1G。主要参数解释：
name：job 的名称。ioengine：I/O 引擎，默认为 libaio。directory：I/O 操作的目录。如果不指定，默认是./。filename： I/O 操作的文件名。如果不指定，fio 将会自动生成文件名，文件名的格式为：$jobname.$jobnum.$filenum。换句话说，fio 将会为每一个线程创建不同的文件。如果指定，fio 最终只会创建一个文件，所有的线程都将共享同一个文件。direct：是否绕开缓存，默认为 0。direct=1表示绕开缓存。sync：同步 I/O，是否在每次 I/O 操作后将缓存数据刷写到物理磁盘中，导致每次 I/O 操作必须等待刷写到磁盘中才能提交下一个请求。在异步 I/O 引擎中必须要设置 sync=0，否则会并行 I/O 变为串行 I/O。time_based：表示以时间作为整体测试结束的判断依据。runtime：整体测试的运行时间。ramp_time：预热时间，如果设置了此参数，fio 将在记录任何性能数据之前运行指定的工作负载一段时间。这对于在记录结果之前让性能稳定下来很有用，从而最大限度地减少获得稳定结果所需的运行时间。iodepth：I/O 深度，表示一次 I/O 操作可以同时进行的 I/O 数量。用于控制异步 I/O（AIO）的并发请求数量，直接影响存储系统的吞吐量（IOPS）和延迟。rw：I/O 操作类型。除了上述 randwrite，还有 randread、read、write 等。size：文件大小。bs：块大小，表示每次 I/O 操作的块大小。thread：表示将进程以线程的方式启动，而不是以进程的方式启动。numjobs：表示启动的线程/进程数量。stonewall：用于控制多任务（numjobs）测试时的任务同步行为，确保测试结果的公平性和一致性。当启用 stonewall 时，fio 会强制所有任务（job）同时启动，并在任何一个任务完成时终止所有其他任务。group_reporting：表示将所有线程/进程的结果汇总。
4. 用法
4.1. 命令行模式
命令行模式可以以两种方式运行：纯命令行模式（不带 jobfile）和配置文件模式（带 jobfile）。上述命令是纯命令行模式，也可以替换成配置文件模式：
fio test.fio
其中 test.fio 为配置文件，内容如下：
[test]
ioengine=libaio
directory=/mnt/testfs
direct=1
sync=0
time_based
runtime=2m
ramp_time=10
iodepth=16
rw=randwrite
size=1G
bs=4k
thread
numjobs=32
stonewall
group_reporting
fio 纯命令行模式也可以同时运行多个不同的测试任务，只需要指定每一个测试任务的--name参数，并且每个测试任务的测试命令参数也需要紧跟在--name参数之后：
fio --name=test1 ioengine=libaio ... --name=test2 ioengine=libaio ...
上述命令修改成配置文件，类似如下：
[test1]
ioengine=libaio
...
[test2]
ioengine=libaio
...
当在纯命令行模式下同时运行多个不同的测试任务时，如果多个测试任务有相同的参数，可以将相同的参数提取出来，并用关键字global来定义相同的参数：
fio --name=global ioengine=libaio ... --name=test1 bs=4k ... --name=test1 bs=1m ...
上述命令修改成配置文件，类似如下：
[global]
ioengine=libaio
...
[test1]
bs=4k
...
[test2]
bs=1m
在配置文件模式下，如果配置文件同时配置了多个任务，在执行测试的时候可以使用--section参数来指定要执行的测试任务，例如：
fio --section=test1 test.fio
4.2. client/server 模式
client/server 模式多用于待测集群多客户端并发测试场景，fio 客户端和 fio 服务端可以运行在不同的机器上，fio 客户端通过--client参数与 fio 服务端建立连接，fio 服务端收到 fio 客户端的请求，执行测试任务，并将测试结果返回给 fio 客户端。从测试的角度看，真正执行测试的任务的是 fio 服务端，相对于测试集群而言，fio 服务端就是测试集群的客户端。
client/server 模式下，必须先启动 fio server，通常用以下命令在测试集群客户端启动 fio server：
fio --server
在启动 fio server 之后，就可以在测试集群客户端启动 fio client，通常有 2 种启动方式：
1. fio --client=<server1> <job file(s)> --client=<server2> <job file(s)> ...
2. fio --client=host.list <job file(s)>
fio client 只能通过定义 jobfile（配置文件）的方式来执行 fio 命令，不能通过纯命令行模式来执行 fio 命令。
5. 实例
测试 1 客户端 32 进程 4k 随机写性能，每个线程写不同的文件，每个文件大小为 1G
fio --name=randwrite_4k --ioengine=libaio --directory=/mnt/testfs --direct=1 --sync=0 --time_based --runtime=2m --ramp_time=10 --iodepth=16 --rw=randwrite --size=1G --bs=4k --thread --numjobs=32 --stonewall --group_reporting
测试 3 客户端 32 进程 4k 随机写性能，每个线程写不同的文件，每个文件大小为 1G
fio --client=192.168.3.11 randwrite.fio --client=192.168.3.12 randwrite.fio --client=192.168.3.13 randwrite.fio
其中 randwrite.fio 配置如下：
[randwrite]
ioengine=libaio
directory=/mnt/testfs
direct=1
sync=0
time_based
runtime=2m
ramp_time=10
iodepth=16
rw=randwrite
size=1G
bs=4k
thread
numjobs=32
stonewall
group_reporting
对于上述配置文件也没有指定filename参数，在 client/server 模式下，尤其是多客户端测试场景下，如果指定directory参数，fio 将会按照$clientuid.$jobname.$jobnum.$filenum的格式生成文件名。如果不指定directory参数，可以使用filename_format来指定文件名格式：filename_format=$clientuid.$jobname.$jobnum.$filenum。
在关于读的性能测试之前，一般是手动提前构造出完整的文件数据，再去测试读。并且，一般是都是先测试完所有关于写的性能测试项，然后再测试所有关于读的性能测试项。
浙公网安备 33010602011771号