选择最佳文件传输分块大小：理论与实践

引言

在设计文件传输系统时，选择合适的分块大小对于确保高效的数据传输至关重要。我尽量影响分块大小的因素，并通过一个具体的测试案例来分析最佳分块大小的选择。此外，我参考了FTP协议如何处理文件传输，并讨论其优点。

1. 影响分块大小的因素

在选择分块大小时，需要考虑以下几个关键因素：

• 网络带宽：了解网络的平均和峰值带宽可以帮助确定合适的分块大小。
• 网络延迟：较高的RTT（Round-Trip Time）意味着较大的分块可能会增加等待时间。
• TCP窗口大小：发送窗口（cwnd）和接收窗口（rwnd）限制了可以发送和接收的数据量。
• 内存和处理能力：较大的分块需要更多的内存和CPU资源来处理。
• 重传机制：较大的分块可能导致大量数据重传。
• 协议效率：头部开销随着分块数量的增加而增大。
• 应用层需求：文件大小和业务逻辑对分块大小也有影响。

2. 测试案例分析

在本地千兆网络上进行了一系列测试，使用Ubuntu内核3.2，到FTP服务器的ping时间为0.2毫秒。测试涉及传输2GB的文件，并记录了不同分块大小下的传输速度。以下是测试结果的摘要：

• 64KB分块大小：传输速度约为330Mb/s。
• 256KB分块大小：传输速度高达533Mb/s。

测试结果显示，随着分块大小从64KB增加到256KB，传输速度显著提升。为了确保这一现象不是由读取文件的时间造成的，我还对storebinary函数的子组件进行了计时。

思考

在这样的传输速率下用户的体验其实基本足够，那此时主要考虑的应该是网络带宽和重传效率

1. 较小的分片需要携带的头部信息（非TCP头部，自定义协议头部）较多占用较多的网络带宽
2. 较大的分片不利于重传，那应该根据具体的业务场景进行设计，主要应该考虑：发生重传的频率
   重传频率较大时应该考虑减小分片，反之可以增大

3. FTP协议的处理方式

FTP（File Transfer Protocol）使用TCP作为其传输层协议，支持两种数据传输模式：主动模式（Active Mode）和被动模式（Passive Mode）。FTP中的数据传输是通过单独的数据连接进行的，而控制命令则是通过控制连接传输的。在数据传输过程中，FTP使用了一个称为“结束分隔符”的机制来指示文件传输的结束。通常情况下，FTP使用1024字节作为分块大小的一个合理默认值。

个人认为使用1k使用的网络带宽太大，不利于整体的效率