并发容量优化

　　目前设备并发容量只有300w，leader通知说以前并发容量有490w，所以得优化优化一下。

目前内存调优策略知道有如下几种：

1）减少内存的动态分配。比如，可以使用内存池、大页（HugePage）等。

2）尽量使用缓存和缓冲区来访问数据。

3）使用 cgroups 等方式限制进程的内存使用情况。这样，可以确保系统内存不会被异常进程耗尽。

4）通过 /proc/pid/oom_adj ，调整核心应用的 oom_score。这样，可以保证即使内存紧张，核心应用也不会被 OOM杀死。

 

影响Socket缓存的参数

我们要先来列出Linux中可以影响Socket缓存的调整参数。在proc目录下，它们的路径和对应说明为：

/proc/sys/net/core/rmem_default

/proc/sys/net/core/rmem_max

/proc/sys/net/core/wmem_default

/proc/sys/net/core/wmem_max

这些文件用来设置所有socket的发送和接收缓存大小，所以既影响TCP，也影响UDP。

针对TCP：

除了以上四个文件的影响外，还包括如下文件：

/proc/sys/net/ipv4/tcp_rmem

/proc/sys/net/ipv4/tcp_wmem

对于TCP来说，上面core目录下的四个文件的作用效果一样，只是默认值不再是 rmem_default 和 wmem_default ，而是由 tcp_rmem 和 tcp_wmem 文件中所显示的第二个值决定。通过setsockopt可以调整的最大值依然由rmem_max和wmem_max限制。

net.ipv4.tcp_rmem = 4096        87380   6291456

三个值依次表示：min default max

min：决定 tcp socket buffer 最小长度。

default：决定其默认长度。

max：决定其最大长度。在一个tcp链接中，对应的buffer长度将在min和max之间变化。导致变化的主要因素是当前内存压力。如果使用setsockopt设置了对应buffer长度的话，这个值将被忽略。相当于关闭了tcp buffer的动态调整。

/proc/sys/net/ipv4/tcp_moderate_rcvbuf

这个文件是服务器是否支持缓存动态调整的开关，1为默认值打开，0为关闭。

另外要注意的是，使用 setsockopt 设置对应buffer长度的时候，实际生效的值将是设置值的2倍。

当然，这里面所有的rmem都是针对接收缓存的限制，而wmem都是针对发送缓存的限制。

/proc/sys/net/ipv4/tcp_adv_win_scale

　　这个值用来影响缓存中有多大空间用来存放overhead相关数据，所谓overhead数据可以理解为乱序报文缓存，假设缓存字节数为bytes，这个值说明，有bytes/2的tcp_adv_win_scale次方的空间用来存放overhead数据。默认值为1表示有1/2的缓存空间用来放overhead，此值为二表示1/4的空间。当tcp_adv_win_scale <= 0的时候，overhead空间运算为：bytes-bytes/2^(-tcp_adv_win_scale)。取值范围是：[-31, 31]。

关于ss相关使用可以看man ss orWhat is rcv_space in the 'ss --info' output, and why it's value is larger than net.core.rmem_max

参考此篇文章分析过程

使用ss命令查看rcv_space和rcv_ssthresh的变化：

ss -oit

ESTAB       0      0                           10.67.10.28:ssh                                        10.67.9.78:58412                 timer:(keepalive,20min,0)
         sack cubic wscale:8,10 rto:224 rtt:22.911/23.682 ato:40 mss:1460 cwnd:10 ssthresh:21 bytes_acked:215987725 
bytes_received:137172 segs_out:4496408 segs_in:2184462 send 5.1Mbps lastsnd:586560 
lastrcv:590792 lastack:586556 pacing_rate 6.1Mbps retrans:0/58 rcv_rtt:402636 rcv_space:52320

 

ss -itmpn src "10.67.10.28"   dst "10.67.9.78"
State       Recv-Q Send-Q                      Local Address:Port                                     Peer Address:Port
ESTAB       0      48                            10.67.10.28:22                                         10.67.9.78:28970               users:(("sshd",pid=117823,fd=4))
         skmem:(r0,rb2048,t0,tb2048,f1728,w2368,o0,bl0) cubic wscale:8,10 rto:248 rtt:46.543/6.34 ato:40 mss:1460 cwnd:10 bytes_acked:94621 
bytes_received:11892 segs_out:428 segs_in:457 send 2.5Mbps lastsnd:16 lastrcv:16 lastack:16 pacing_rate 5.0Mbps unacked:1 rcv_space:29200
ESTAB       0      0                             10.67.10.28:22                                         10.67.9.78:28986               users:(("sshd",pid=118196,fd=4))
         skmem:(r0,rb2048,t0,tb2048,f0,w0,o0,bl0) cubic wscale:8,10 rto:216 rtt:12.893/19.05 ato:40 mss:1460 cwnd:10 bytes_acked:2373 
bytes_received:1092 segs_out:12 segs_in:13 send 9.1Mbps lastsnd:132692 lastrcv:132692 lastack:132640 pacing_rate 18.1Mbps rcv_space:29200

 

网卡名对应RX字节数：
ifconfig  | sed -n '/^[^ ]/{s/^\([^ ]*\) .*/\1/g;h;: top;n;/^$/b;s/^.*RX bytes:\([0-9]\{1,\}\).*/\1/g;T top;H;x;s/\n/:/g;p}'

网卡名对应的ip地址：
ifconfig | sed -n '/^[^ ]/{s/^\([^ ]*\) .*/\1/g;h;: top;n;/^$/b;s/^.*inet addr:\([0-9]\{1,\}\.[0-9]\{1,\}\.[0-9]\{1,\}\.[0-9]\{1,\}\).*/\1/g;T top;H;x;s/\n/:/g;p}' 

 

当然首先要分析meminfo相关信息。

目前根据优化内存池、内核等相关缓存。并发容量从300w优化到420W