提高Linux上socket性能---加速网提高Linux上socket性能---加速网络应用程序络应用程序(2)

原文：http://tech.c114.net/508/a242329.html

清单 2. 手动设置发送和接收 socket 缓冲区大小 

　　int ret, sock, sock_buf_size; 

　　sock = socket ( AF_INET, SOCK_STREAM, 0 ); 

　　sock_buf_size = BDP; 

　　ret = setsockopt ( sock, SOL_SOCKET, SO_SNDBUF, 
　　(char *)&sock_buf_size, sizeof(sock_buf_size) ); 

　　ret = setsockopt ( sock, SOL_SOCKET, SO_RCVBUF, 
　　(char *)&sock_buf_size, sizeof(sock_buf_size) ); 

　　在 Linux 2.6 内核中，发送缓冲区的大小是由调用用户来定义的，但是接收缓冲区会自动加倍。您可以进行 getsockopt 调用来验证每个缓冲区的大小。 

　　就 window scaling 来说，TCP 最初可以支持最大为 64KB 的窗口（使用 16 位的值来定义窗口的大小）。采 用 window scaling（RFC 1323）扩展之后，您就可以使用 32 位的值来表示窗口的大小了。GNU/Linux 中提供的 TCP /IP 栈可以支持这个选项（以及其他一些选项）。 

　　提示： Linux 内核还包括了自动对这些 socket 缓冲区进行优化的能力（请参阅下面 表 1 中 的 tcp_rmem 和 tcp_wmem ），不过这些选项会对整个栈造成影响。如果您只需要为一个连接或一类连接调节窗口的大小，那么这种机制也许 不能满足您的需要了。 

　　技巧 4. 动态优化 GNU/Linux TCP/IP 栈 

　　标准的 GNU/Linux 发行版试图对各种部署情况都进行优化。这意味着标准的发行版可能并没有对您的环境进行特殊的优化。 

　　解决方案 

　　GNU/Linux 提供了很多可调节的内核参数，您可以使用这些参数为您自己的用途对操作系统进行动态配置。下面我们来了解一下影响 socket 性能的一些更重要的选项。 

　　在 /proc 虚拟文件系统中存在一些可调节的内核参数。这个文件系统中的每个文件都表示一个或多个参数，它们可以通过 cat 工具进行读取，或 使用 echo 命令进行修改。清单 3 展示了如何查询或启用一个可调节的参数（在这种情况中，可以在 TCP/IP 栈中启用 IP 转发）。 

　　清单 3. 调优：在 TCP/IP 栈中启用 IP 转发 

　　[root@camus]# cat /proc/sys/net/ipv4/ip_forward 
　　0 
　　[root@camus]# echo "1" > /poc/sys/net/ipv4/ip_forward 
　　[root@camus]# cat /proc/sys/net/ipv4/ip_forward 
　　1 
　　[root@camus]# 

　　 表 1 给出了几个可调节的参数，它们可以帮助您提高 Linux TCP/IP 栈的性能。 

　　表 1. TCP/IP 栈性能使用的可调节内核参数  可调节的参数 默认值 选项说明  
/proc/sys/net/core/rmem_default  "110592"  定义默认的接收窗口大小；对于更大的 BDP 来说，这个大小也应该更大。  

　　/proc/sys/net/core/rmem_max  "110592"  定义接收窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。  

　　/proc/sys/net/core/wmem_default  "110592"  定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。  

　　/proc/sys/net/core/wmem_max  "110592"  定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。  

　　/proc/sys/net/ipv4/tcp_window_scaling　　　  "1"  启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。  

　　/proc/sys/net/ipv4/tcp_sack  "1"  启用有选择的应答（Selective Acknowledgment），这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）；（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。  

　　/proc/sys/net/ipv4/tcp_fack  "1"  启用转发应答（Forward Acknowledgment），这可以进行有选择应答（SACK）从而减少拥塞情况的发生；这个选项也应该启用。  

　　/proc/sys/net/ipv4/tcp_timestamps  "1"  以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。  

　　/proc/sys/net/ipv4/tcp_mem  "24576 32768 49152"  确定 TCP 栈应该如何反映内存使用；每个 值的单位都是内存页（通常是 4KB）。第一个值是内存使用的下限。第二个值是内存压力模式开始对缓冲区使用应用压力的上限。第三个值是内存上限。在这个 层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。  

　　/proc/sys/net/ipv4/tcp_wmem  "4096 16384 131072"  为自动调优定义每个 socket 使用的 内存。第一个值是为 socket 的发送缓冲区分配的最少字节数。第二个值是默认值（该值会被 wmem_default 覆盖），缓冲区在系统负载不 重的情况下可以增长到这个值。第三个值是发送缓冲区空间的最大字节数（该值会被 wmem_max 覆盖）。  

　　/proc/sys/net/ipv4/tcp_rmem  "4096 87380 174760"  与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。  

　　/proc/sys/net/ipv4/tcp_low_latency  "0"  允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况；这个选项应该禁用。  
　
　　/proc/sys/net/ipv4/tcp_westwood  "0"  启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化；对于 WAN 通信来说应该启用这个选项。  

　　/proc/sys/net/ipv4/tcp_bic  "1"  为快速长距离网络启用 Binary Increase Congestion；这样可以更好地利用以 GB 速度进行操作的链接；对于 WAN 通信应该启用这个选项。

　　与任何调优努力一样，最好的方法实际上就是不断进行实验。您的应用程序的行为、处理器的速度以及可用内存的多少都会影响到这些参数影响性能的方式。在 某些情况中，您认为有益的操作可能恰恰是有害的（反之亦然）。因此，我们需要逐一试验各个选项，然后检查每个选项的结果。换而言之，我们需要相信自己的经 验，但是对每次修改都要进行验证。 

　　提示： 下面介绍一个有关永久性配置的问题。注意，如果您重新启动了 GNU/Linux 系统，那么您所需要的任何可调节的内核参数都会恢复成默认值。为了将您所设置的值作为这些参数的默认值，可以使用 /etc/sysctl.conf 在系统启动时将这些参数配置成您所设置的值。 

　　GNU/Linux 工具 

　　GNU/Linux 对我非常有吸引力，这是因为其中有很多工具可以使用。尽管其中大部分都是命令行工具，但是它们都非常有用，而且非常直观。GNU /Linux 提供了几个工具 —— 有些是 GNU/Linux 自己提供的，有些是开放源码软件 —— 用于调试网络应用程序，测量带宽/吞吐量，以 及检查链接的使用情况。 

　　表 2 列出最有用的几个 GNU/Linux 工具，以及它们的用途。表 3 列出了 GNU/Linux 发行版没有提供的几个有用工具。有关表 3 中工具的更多信息请参阅 参考资料 。 

　　表 2. 任何 GNU/Linux 发行版中都可以找到的工具  GNU/Linux工具 

　　用途  

　　ping  这是用于检查主机的可用性的最常用的工具，但是也可以用于识别带宽延时产品计算的 RTT。  
　　
　　traceroute  打印某个连接到网络主机所经过的包括一系列路由器和网关的路径（路由），从而确定每个 hop 之间的延时。  

　　netstat  确定有关网络子系统、协议和连接的各种统计信息。  
tcpdump  显示一个或多个连接的协议级的报文跟踪信息；其中还包括时间信息，您可以使
用这些信息来研究不同协议服务的报文时间。  

　　表 3. GNU/Linux 发行版中没有提供的有用性能工具  GNU/Linux 工具 用途  
netlog  为应用程序提供一些有关网络性能方面的信息。  

　　nettimer  为瓶颈链接带宽生成一个度量标准；可以用于协议的自动优化。  

　　Ethereal  以一个易于使用的图形化界面提供了 tcpump （报文跟踪）的特性。  

　　iperf  测量 TCP 和 UDP 的网络性能；测量最大带宽，并汇报延时和数据报的丢失情况。  

　　结束语 

　　尝试使用本文中介绍的技巧和技术来提高 socket 应用程序的性能，包括通过禁用 Nagle 算法来减少传输延时，通过设置缓冲区的大小来提 高 socket 带宽的利用，通过最小化系统调用的个数来降低系统调用的负载，以及使用可调节的内核参数来优化 Linux 的 TCP/IP 栈。 

　　在进行优化时还需要考虑应用程序的特性。例如，您的应用程序是基于 LAN 的还是会通过 Internet 进行通信？如果您的应用程序仅仅会在 LAN 内部进行操作，那么增大 socket 缓冲区的大小可能不会带来太大的改进，不过启用巨帧却一定会极大地改进性能！ 

　　最后，还要使用 tcpdump 或 Ethereal 来检查优化之后的结果。在报文级看到的变化可以帮助展示使用这些技术进行优化之后所取得的成功效果。