关于顺序磁盘IO比内存随机IO快的讨论

这个问题来源于我书中引用的一幅图:

我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s,SSD的顺序I/O性能指标是42.2M values/s,而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义,但既然使用了相同的单位,应该是它们是可以比较的。由此似乎可以得出结论:磁盘的顺序I/O性能要强于内存的随机I/O性能。

当初引入这幅图的主要目的是想说明Kafka顺序访问磁盘(特别是顺序写入)的性能并不像想象中的那么差。现在看来,这幅图还是有一些问题的,里面具体的数值也值得推敲。

第一就是单位不明确。一般这种测试常见的统计单位应该是MB/s,即磁盘或内存的吞吐量(TPS)或带宽(Bandwidth),但如果这里的values指的就是MB,显然数值又太小了,所以我目前搞不清楚这个values指代的是什么。这是第一个问题。

第二个问题就在于没有分开讨论读和写。很多磁盘的读写TPS差异很大,特别是对于随机I/O来说,不同块大小(block size)的随机IO相差巨大。这张图里面只是笼统地给出了磁盘的顺序I/O和随机I/O性能,没有显式区分出读写来。这是第二个问题。

第三个问题就在于图中的数值与我们平时的印象是矛盾的。一般情况下,我们会认为内存的TPS应该是很高的。即使是随机I/O也不应该比磁盘的要差,但这张图清晰地表明它真的就是差。特别是今天有人拿实际的测试结果反驳了图中的结论。下面我们着重探讨一下第三个问题。

 

首先是实际测试数据:内存使用的是DDR3的三星内存,TPS测试结果为2500MB/s,但没有说清楚是读TPS还是写TPS,也没有提及使用的chunk大小是多少,更没有说是随机IO访问还是顺序IO访问。不过我们姑且认为是随机IO吧,毕竟我们要PK的就是内存的随机IO。磁盘这边使用的是SSD,经测试最大的顺序读写IO大约是63MB/s,同样没有说到底是读IO还是写IO。测试结果说明SSD磁盘顺序IO TPS远逊于内存IO TPS。那么到底哪个是对的呢?为什么图中显示磁盘顺序IO是能胜过内存随机IO的呢?

 

针对这个矛盾之处,我个人的看法是这里面存在着田忌赛马的情形,也就是说图中用于比较的SSD和内存应该不是同一个等级的,有可能找了一个很好的SSD去与一个普通的内存条进行比较。拿上面实际的例子而言DDR3的三星内存TPS为2500MB/s,但这不算什么太好的成绩。还存在很多更好的内存产品远不止2500MB/s的吞吐量,比如Corsair Vengeance DDR3宣称能够达到5000+MB/s的随机IO TPS(它是以2MB chunk做的测试)。具体的数据来源详见:https://www.storagereview.com/corsair_vengeance_ddr3_ram_disk_review

至于SSD,顺序IO TPS超过2500MB/s的也有,比如这款基于MLC的Micron P420m SSD就宣称其顺序IO TPS能到3300MB/s。具体的数据来源详见:https://www.storagereview.com/micron_p420m_enterprise_pcie_ssd_review

那么现在如果用Micron P420m SSD和上面的三星内存比,其顺序IO的TPS就超过内存的随机IO TPS。这样看来,这不就是田忌赛马吗?用一个非常好的磁盘去PK一个普通的内存,结果就很可能是图中的那个样子。所以,个人认为不用太纠结图中的数据,只需要了解磁盘顺序读写性能很好或至少不差这个事实就好了:) 

 

另外我感觉这张图还有其他不太合理的地方,比如对于SSD而言,顺序IO性能几乎是随机IO的40倍。的确,随机IO是要慢于顺序IO的,特别是对于写入而言,但在SSD中这不总是成立的。

如果IO size很小或者说写入数据很小(比如小于32MB),随机写入自然是要慢于顺序写入;但当IO size增加到某个程度后(比如和clustered block一样大或是其整数倍),那么随机写和顺序写的表现是差不多的,因为不再需要做过多的拷贝擦除,而且SSD内部的并行机制会开始逐渐起作用,抵消随机写和顺序写之间的差异。从这个角度来说,我觉得图中的两组数值对比过于悬殊了,似乎也有不真实的地方。

 

总之,我对这张图的结论是图中的数字是有一些水分的,至少没有给出完整的测试说明,缺乏必要的事实基础,但图要呈现的结论依然是成立的,即在某种程度下,磁盘顺序I/O访问(特别是写操作)是能够匹敌内存的随机I/O访问性能的。

 

posted @ 2019-06-11 20:13  huxihx  阅读(5194)  评论(6编辑  收藏  举报