hadoop基准测试总结_李孟_新浪博客

hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar        TestDFSIO   -write -nrFiles 100  -fileSize 100

100个文件，每个100M

 ----- TestDFSIO ----- : write

Date & time: Fri Nov 17 19:39:04 HKT 2017   

Number of files: 100   文件数量

Total MBytes processed: 10000.0 总写入数据量

Throughput mb/sec: 75.77709409999545  总共需要写入的数据量/（每个map任务实际写入数据的执行时间之和（这个时间会远小于Test exec time sec））＝＝》10000/(map1写时间+map2写时间+...)

Average IO rate mb/sec: 82.62942504882812 每个map需要写入的数据量/每个map任务实际写入数据的执行时间）之和/任务数＝＝》(文件大小/map1写时间＋文件大小/map2写时间+...)/1000，所以这个值跟上面一个值总是存在差异。

IO rate std deviation: 17.816849548077943 上一个值的标准差

Test exec time sec: 450.367整个job的执行时间

Yarn memory 90%

Throughput mb/sec衡量每个map task的平均吞吐量，

Average IO rate mb/sec 衡量每个文件的平均IO速度。

阿里云：

----- TestDFSIO ----- : write

          Date & time: Mon Nov 27 15:58:26 CST 2017

    Number of files: 100

 Total MBytes processed: 10000.0

   Throughput mb/sec: 12.550185052478598

 Average IO rate mb/sec: 21.50667953491211

 IO rate std deviation: 18.03019124739804

 Test exec time sec: 140.708

 ----- TestDFSIO ----- : read

        Date & time: Mon Nov 27 16:04:11 CST 2017

      Number of files: 100

Total MBytes processed: 10000.0

    Throughput mb/sec: 70.17593105916532

 Average IO rate mb/sec: 169.13583374023438

 IO rate std deviation: 135.4413193785257

    Test exec time sec: 86.042

 TestDFSIO -clean 清理

读测试：

 hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar        TestDFSIO   -read -nrFiles 100  -fileSize 100

 read

 Date & time: Sat Nov 18 12:08:07 CST 2017

 Number of files: 100

 Total MBytes processed: 10000.0

 Throughput mb/sec: 139.80734547793142

 Average IO rate mb/sec: 144.37628173828125

 IO rate std deviation: 23.001677374779344

 Test exec time sec: 360.126

总结：可以看出一些常见标准