iozone简单测试ceph群集性能

  测试工具：iozone 集群架构：3个节点hpnode3 hpnode4 hpnode5? 全千兆 集群没分内外网 测试机器：hp 4U8节点 每个节点除开系统盘外，仅有一个osd。

一、配置iozone测试环境

1、下载iozone? iozone3_430.tar（每个节点都这样操作） 解压后，进入到解压目录 [root@hpnode3 current]# pwd /root/iozone3_430/src/current [root@hpnode3 current]# make linux-AMD64 将生成的iozone文件拷贝到/usr/sbin/目录下面

• 配置节点间ssh免密码登陆

测试执行命令在hpnode3执行，故在此机器生成ssh-key 然后配置与其他节点的ssh免密码互联。 参考如下： ssh-keygen –t rsa ssh-keygen root@hpnode4/hpnode5

• 将集群通过fuse挂载到本地目录（在所有节点上执行）

fuse-mount -m 192.168.0.83 /ceshi/

• 在hpnode3节点上编辑iozone配置文件

#vi? /tmp/nodelist 格式为： 节点名称或IP??? 测试的文件系统挂载点??? iozone的工作路径

• 将此nodelist文件复制到其他所有节点的/tmp目录下

scp /tmp/nodelist hpnode4:/tmp scp /tmp/nodelist hpnode5:/tmp

• Iozone的集群测试缺省使用rsh，而目前rsh基本上已经被ssh所取代，因此需要配置ssh来作为缺省的rsh，就是将环境变量rsh或RSH设置为ssh

#export RSH=ssh? （每个节点单独开启xshell 终端后 输入此命令，只对当前xshell生效，若是当前终端挂点后，重连后在执行此命令）

二、开始测试

1、在hpnode3节点上运行如下命令（等待半个小时以上） #? iozone -i 0 -i 1 -r 4M -s 32G? -t 3 -+n -+m /tmp/nodelist -C |tee /tmp/iozone.log 参数解释： -i 0??? write/rewrite -i 1??? read/reread -r???? 文件块大小（此处设置为4M） -s???? 测试的文件大小（此处设置为hpnode3节点的内存的2倍） -t???? 节点数目（此处设置为3，表示在三个节点之间测试） -+n???????????? 去除重复读写 -+m?? 节点的配置信息 -C???? 显示每个节点的吞吐量

• 查看结果
• 

当前终端下可以查看结果，也可查看/tmp/iozone.log文件查看结果 参数解释： Min throughput per process???? 最小吞吐率 Max throughput per process???? 最大吞吐率 Avg throughput per process???? 平均吞吐率 Min xfer ????????????????????最小传输 Child[0] xfer count = 32862208.00 kB, Throughput =?? 24680.58 kB/sec Child[1] xfer count = 33116160.00 kB, Throughput =?? 24871.30 kB/sec Child[2] xfer count = 33554432.00 kB, Throughput =?? 25204.79 kB/sec 每个节点的吞吐率

三、统计结果

集群提供带宽：读? 215MB/s? 写? 74MB/s