spymemcached 的 useNagle 问题与 TCP/IP延迟发送数据

先说一下结论。
如果你没有特意在 spymemcached 的 client bean definition 里配置 useNagleAlgorithm 属性为 True，
那么默认 spymemcached 是不启用 Nagle 算法的。
所以默认情况下不会引发恨少在《libmemcached的MEMCACHED_MAX_BUFFER问题》一文中提及的“shell脚本set 1000次8KB的item，只要3s左右，平均需要3ms。而C++版本则需要39s左右，平均耗时39ms……发现8KB的数据需要发送两次，两次write都是非常快的，但是等memcached返回时用了很多时间，主要的时间就耗费在这个地方”现象。咱们业务中心可以排除这个嫌疑。
 
什么是 Nagle 算法？
『
TCP/IP协议中，无论发送多少数据，总是要在数据前面加上协议头，同时，对方接收到数据，也需要发送ACK表示确认。为了尽可能地利用网络带宽，TCP总是希望尽可能地发送足够大的数据。（一个连接会设置MSS参数，因此，TCP/IP希望每次都能够以MSS尺寸的数据块来发送数据）。Nagle算法就是为了尽可能发送大块数据，避免网络中充斥着许多小数据块。
Nagle算法的基本定义是任意时刻，最多只能有一个未被确认的小段。 所谓“小段”，指的是小于MSS尺寸的数据块，所谓“未被确认”，是指一个数据块发送出去后，没有收到对方发送的ACK确认该数据已收到。

        Nagle算法的规则（可参考tcp_output.c文件里tcp_nagle_check函数注释）： 

      （1）如果包长度达到MSS，则允许发送；

      （2）如果该包含有FIN，则允许发送；

      （3）设置了TCP_NODELAY选项，则允许发送；

      （4）未设置TCP_CORK选项时，若所有发出去的小数据包（包长度小于MSS）均被确认，则允许发送； 

      （5）上述条件都未满足，但发生了超时（一般为200ms），则立即发送。
 
spymemcached 默认不启用 Nagle 算法
/net/spy/memcached/ConnectionFactoryBuilder.java 中定义如下：
/**
* Builder for more easily configuring a ConnectionFactory.
*/
public class ConnectionFactoryBuilder {
  protected boolean useNagle = false;
……
  public ConnectionFactoryBuilder(ConnectionFactory cf) {
……
    setUseNagleAlgorithm(cf.useNagleAlgorithm());
  }
  /**
* Set to true if you'd like to enable the Nagle algorithm.
*/
  public ConnectionFactoryBuilder setUseNagleAlgorithm(boolean to) {
    useNagle = to;
    return this;
  }
然后，转到 MemcachedConnection.java，说到底还是调用 socket 的 setTcpNoDelay 方法：
  protected List<MemcachedNode> createConnections(
……
      ch.socket().setTcpNoDelay(!this.connectionFactory.useNagleAlgorithm());
 
通过 bean definition 可设置 useNagleAlgorithm
参考 SpringIntegration 文档，spring 里配置如下：
<beanid="memcachedClient"class="net.spy.memcached.spring.MemcachedClientFactoryBean">……
   <propertyname="useNagleAlgorithm"value="false"/>
  </bean>
 
p.s.:
1）另一个常用的 memcached java client——xmemcached 从1.3.6版本开始也默认禁用了 Nagle 算法。

2）mongo-java-driver 默认也禁用 Nagle 算法（DBPort.java 63行）。

参考资源：
2）火丁，2012，Memcached二三事儿；
3）2009， Issue 88:  Turn off TCP nagle can hugely improve performance；

 

 

http://ww4.sinaimg.cn/bmiddle/61b889f5jw1e0heyvf2bjj.jpg
http://ww4.sinaimg.cn/bmiddle/722cf283jw1e0gmqya3f5j.jpg

 

posted @ 2013-01-04 23:19  旁观者  阅读(3537)  评论(0)  编辑  收藏  举报