spymemcached 的 useNagle 问题与 TCP/IP延迟发送数据

先说一下结论。
如果你没有特意在 spymemcached  client bean definition 里配置 useNagleAlgorithm 属性为 True,
那么默认 spymemcached 是不启用 Nagle 算法的
所以默认情况下不会引发恨少在《libmemcached的MEMCACHED_MAX_BUFFER问题》一文中提及的“shell脚本set 1000次8KB的item,只要3s左右,平均需要3ms。而C++版本则需要39s左右,平均耗时39ms……发现8KB的数据需要发送两次,两次write都是非常快的,但是等memcached返回时用了很多时间,主要的时间就耗费在这个地方”现象。咱们业务中心可以排除这个嫌疑。
 
什么是 Nagle 算法?
TCP/IP协议中,无论发送多少数据,总是要在数据前面加上协议头,同时,对方接收到数据,也需要发送ACK表示确认。为了尽可能地利用网络带宽,TCP总是希望尽可能地发送足够大的数据。(一个连接会设置MSS参数,因此,TCP/IP希望每次都能够以MSS尺寸的数据块来发送数据)。Nagle算法就是为了尽可能发送大块数据,避免网络中充斥着许多小数据块。
Nagle算法的基本定义是任意时刻,最多只能有一个未被确认的小段。 所谓“小段”,指的是小于MSS尺寸的数据块,所谓“未被确认”,是指一个数据块发送出去后,没有收到对方发送的ACK确认该数据已收到

        Nagle算法的规则(可参考tcp_output.c文件里tcp_nagle_check函数注释): 

      (1)如果包长度达到MSS,则允许发送

      (2)如果该包含有FIN,则允许发送;

      (3)设置了TCP_NODELAY选项,则允许发送;

      (4)未设置TCP_CORK选项时,若所有发出去的小数据包(包长度小于MSS)均被确认,则允许发送; 

      (5)上述条件都未满足,但发生了超时(一般为200ms),则立即发送。
 
spymemcached 默认不启用 Nagle 算法
/net/spy/memcached/ConnectionFactoryBuilder.java 中定义如下:
/**
* Builder for more easily configuring a ConnectionFactory.
*/
public class ConnectionFactoryBuilder {
  protected boolean useNagle = false;
……
  public ConnectionFactoryBuilder(ConnectionFactory cf) {
……
    setUseNagleAlgorithm(cf.useNagleAlgorithm());
  }
  /**
* Set to true if you'd like to enable the Nagle algorithm.
*/
  public ConnectionFactoryBuilder setUseNagleAlgorithm(boolean to) {
    useNagle = to;
    return this;
  }
然后,转到 MemcachedConnection.java,说到底还是调用 socket 的 setTcpNoDelay 方法:
  protected List<MemcachedNode> createConnections(
……
      ch.socket().setTcpNoDelay(!this.connectionFactory.useNagleAlgorithm());
 
通过 bean definition 可设置 useNagleAlgorithm
参考 SpringIntegration 文档,spring 里配置如下:
<beanid="memcachedClient"class="net.spy.memcached.spring.MemcachedClientFactoryBean">……
   <propertyname="useNagleAlgorithm"value="false"/>
 
</bean>
 
p.s.:
1)另一个常用的 memcached java client——xmemcached 从1.3.6版本开始也默认禁用了 Nagle 算法。

2mongo-java-driver 默认也禁用 Nagle 算法(DBPort.java 63行)。

参考资源:
2)火丁,2012,Memcached二三事儿
3)2009, Issue 88:  Turn off TCP nagle can hugely improve performance;

 


 

http://ww4.sinaimg.cn/bmiddle/61b889f5jw1e0heyvf2bjj.jpg
http://ww4.sinaimg.cn/bmiddle/722cf283jw1e0gmqya3f5j.jpg

 

posted @ 2013-01-04 23:19  旁观者  阅读(...)  评论(...编辑  收藏