Go 数据库连接池的设计与实现
为什么需要连接池
- 每个连接建立时都会申请内存用来做socket buffer
- 每个连接都要做三次握手四次挥手
- 每个连接关闭时都要释放内存空间
- 在高并发场景下,由于没有连接池的最大连接数限制,可以创建无数个连接,耗尽文件描述符
- 并发高时,会产生大量的连接,影响系统调度,会占用太多系统资源
连接池设计
基本上连接池都会设计以下几个参数:
1)初始连接数:在初始化连接池时就会预先创建好的连接数量,如果设置得:
过大:可能造成浪费
过小:请求到来时需要新建连接
2)最大空闲连接数maxIdle:池中最大缓存的连接个数,如果设置得:
过大:造成浪费,自己不用还把持着连接。因为数据库整体的连接数是有限的,当前进程占用多了,其他进程能获取的就少了
过小:无法应对突发流量
3)最大连接数maxCap:
如果已经用了maxCap个连接,要申请第maxCap+1个连接时,一般会阻塞在那里,直到超时或者别人归还一个连接
4)最大空闲时间idleTimeout:当发现某连接空闲超过这个时间时,会将其关闭,重新去获取连接
避免连接长时间没用,自动失效的问题
连接池对外提供两个方法:
Get:获取一个连接,Put:归还一个连接
大部分连接池的实现大同小异,基本流程如下:
需要注意:
-
当有空闲连接时,需要进一步判断连接是否有过期(超过最大空闲时间idleTimeout)
- 这些连接有可能很久没用过了,在数据库层面已经过期。如果贸然使用可能出现错误,因此最好检查下是否超时
-
当陷入阻塞时,最好设置超时时间,避免一直没等到有人归还连接而一直阻塞
归还连接时:
- 先看有没有阻塞的获取连接的请求,如果有转交连接,并唤醒阻塞请求
- 否则看能否放回去空闲队列,如果不能直接关闭请求
连接池的实现流程
连接池的结构
空闲连接切片:freeConns []*Conn
空闲连接的锁:lastDialErrorMu sync.RWMutex
控制连接池大小的管道:queue chan struct{}
获取连接
验证连接池是否关闭。
验证是否超过连接池的的最大连接数,没超过计数管道容量减少一个单位;如果超过了1秒后重试,直到重试时间超过最大等待时间则返回失败。
没有超过连接池最大连接数,如果空闲连接切片中有连接,则判断获取到的连接是否超时;如果没有空闲连接则创建一个新连接,创建成功返回,创建失败则将之前技术管道容量减少的一个单位还原。
释放连接
如果连接失效,则把连接关闭,计数管道容量增加一个单位。
如果连接没有失效,把连接放到空闲连接切片里,计数管道容量增加一个单位。 -
总结
根据上面总结的流程,连接池还需要维护另外两个结构:
- 空闲队列
- 阻塞请求的队列
sql.DB
Go在官方库sql中就实现了连接池,这样的好处在于:
- 对于开发:就不用像java一样,需要自己找第三方的连接池实现
- 对于driver的实现:只用关心怎么和数据库交互,不用考虑连接池的问题