http://www.blogjava.net/yongboy/archive/2015/02/12/422893.html
http://colobu.com/2015/06/11/Socket-sharding-implemented-by-netty/
http://xiaorui.cc/2015/12/02/%E4%BD%BF%E7%94%A8socket-so_reuseport%E6%8F%90%E9%AB%98%E6%9C%8D%E5%8A%A1%E7%AB%AF%E6%80%A7%E8%83%BD/
以前就在国外的论坛接触过SO_REUSEPORT，这两天朋友群又在传播nginx 1.9 reuseport多进程监听参数。那咱们简单说下SO_REUSEPORT的应用场景， 为什么会用他？ 然而在讲解SO_REUSEPORT之前，需要先说下我们常用的网络模型。
文章写得不太严谨， 请砖家拍砖，另外标注下原文地址， http://xiaorui.cc/?p=2413
在多核时代，一般使用以下比较典型的多进程/多线程服务器模型。
首先需要单线程listen一个端口上，然后由多个工作进程/线程去accept()在同一个服务器套接字上。
第一个性能瓶颈，单线程listener，在处理高速率海量连接时，一样会成为瓶颈
第二个性能瓶颈，多线程访问server socket锁竞争严重。
那么怎么解决？ 这里先别扯什么分布式调度,集群xxx的 , 就拿单机来说问题。在Linux kernel 3.9带来了SO_REUSEPORT特性，她可以解决上面(单进程listen，多工作进程accept() )的问题.
看图说话，对比SO_REUSADDR的模型，我想你应该看懂SO_REUSEPORT是个什么东西了。 SO_REUSEPORT是支持多个进程或者线程绑定到同一端口，提高服务器程序的吞吐性能，具体来说解决了下面的几个问题：
允许多个套接字 bind()/listen() 同一个TCP/UDP端口
每一个线程拥有自己的服务器套接字
在服务器套接字上没有了锁的竞争，因为每个进程一个服务器套接字
内核层面实现负载均衡
安全层面，监听同一个端口的套接字只能位于同一个用户下面
我这边用python做了一个关于python SO_REUSEPORT服务端测试. 测试之前，已经要确定你的linux内核版本是3.9, 在mac下进行so_reuseport测试，貌似不会提示端口被绑定，但是后启动的进程会阻塞.
file: reuseport.py
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
import socket
import os
#xiaorui.cc
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEPORT, 1)
s.bind(('0.0.0.0', 1234))
s.listen(1)
while True:
conn, addr = s.accept()
print('Connected to {}'.format(os.getpid()))
data = conn.recv(1024)
conn.send(data)
conn.close()
|
开始测试reuseport.py
|
1
2
3
4
5
6
|
nohup python reuseport.py &
nohup python reuseport.py &
nohup python reuseport.py &
nohup python reuseport.py &
nohup python reuseport.py &
|
使用nc测试
|
1
2
|
echo 'xiaorui.cc' | nc localhost 1234
|
有些文章说，在python下多进程绑定同一个端口，也就是有人常说的prefork，他其实也是单个进程去listen监听端口，剩余的worker去accept获取用户请求而已. 如果想用python实现真正的多进程绑定在多一个端口，那只能是用so_reuseport模式 。
其实用python开发支持SO_REUSEPORT的服务端有个大好处，不用写多进程，多线程了.. 算是一个偷懒的方法。 我自己觉得python离SO_REUSEPORT真实提高socket性能的应用场景比较的远，就python这性能…. 倒是可以迅速的提高socket开发效率..
另外标注下，SO_REUSEADDR和SO_REUSEPORT的区别
SO_REUSEADDR提供如下四个功能：
SO_REUSEADDR允许启动一个监听服务器并捆绑其众所周知端口，即使以前建立的将此端口用做他们的本地端口的连接仍存在。这通常是重启监听服务器时出现，若不设置此选项，则bind时将出错。
【
】
SO_REUSEADDR允许在同一端口上启动同一服务器的多个实例，只要每个实例捆绑一个不同的本地IP地址即可。对于TCP，我们根本不可能启动捆绑相同IP地址和相同端口号的多个服务器。
SO_REUSEADDR允许单个进程捆绑同一端口到多个套接口上，只要每个捆绑指定不同的本地IP地址即可。这一般不用于TCP服务器。
SO_REUSEADDR允许完全重复的捆绑：当一个IP地址和端口绑定到某个套接口上时，还允许此IP地址和端口捆绑到另一个套接口上。一般来说，这个特性仅在支持多播的系统上才有，而且只对UDP套接口而言（TCP不支持多播）。
SO_REUSEPORT选项有如下语义：
此选项允许完全重复捆绑，但仅在想捆绑相同IP地址和端口的套接口都指定了此套接口选项才行。
如果被捆绑的IP地址是一个多播地址，则SO_REUSEADDR和SO_REUSEPORT等效。
学习SO_REUSEPORT时，参考的文章:
http://www.blogjava.net/yongboy/archive/2015/02/12/422893.html
http://www.cnblogs.com/mydomain/archive/2011/08/23/2150567.html
浙公网安备 33010602011771号