Go 数据库连接池的设计与实现

为什么需要连接池

• 每个连接建立时都会申请内存用来做socket buffer
• 每个连接都要做三次握手四次挥手
• 每个连接关闭时都要释放内存空间
• 在高并发场景下，由于没有连接池的最大连接数限制，可以创建无数个连接，耗尽文件描述符
• 并发高时，会产生大量的连接，影响系统调度，会占用太多系统资源

连接池设计
基本上连接池都会设计以下几个参数：

1）初始连接数：在初始化连接池时就会预先创建好的连接数量，如果设置得：

　　过大：可能造成浪费
　　过小：请求到来时需要新建连接
2）最大空闲连接数maxIdle：池中最大缓存的连接个数，如果设置得：

　　过大：造成浪费，自己不用还把持着连接。因为数据库整体的连接数是有限的，当前进程占用多了，其他进程能获取的就少了
　　过小：无法应对突发流量
3）最大连接数maxCap：

　　如果已经用了maxCap个连接，要申请第maxCap+1个连接时，一般会阻塞在那里，直到超时或者别人归还一个连接
4）最大空闲时间idleTimeout：当发现某连接空闲超过这个时间时，会将其关闭，重新去获取连接

　　避免连接长时间没用，自动失效的问题

连接池对外提供两个方法:

       Get：获取一个连接，Put：归还一个连接

大部分连接池的实现大同小异，基本流程如下：

 

需要注意：

• 当有空闲连接时，需要进一步判断连接是否有过期（超过最大空闲时间idleTimeout）

  • 这些连接有可能很久没用过了，在数据库层面已经过期。如果贸然使用可能出现错误，因此最好检查下是否超时

• 当陷入阻塞时，最好设置超时时间，避免一直没等到有人归还连接而一直阻塞

  

  归还连接时：

  • 先看有没有阻塞的获取连接的请求，如果有转交连接，并唤醒阻塞请求
  • 否则看能否放回去空闲队列，如果不能直接关闭请求

    连接池的实现流程

    

    连接池的结构
    空闲连接切片：freeConns []*Conn
    空闲连接的锁：lastDialErrorMu sync.RWMutex
    控制连接池大小的管道：queue chan struct{}
     获取连接
    验证连接池是否关闭。
    验证是否超过连接池的的最大连接数，没超过计数管道容量减少一个单位；如果超过了1秒后重试，直到重试时间超过最大等待时间则返回失败。
    没有超过连接池最大连接数，如果空闲连接切片中有连接，则判断获取到的连接是否超时；如果没有空闲连接则创建一个新连接，创建成功返回，创建失败则将之前技术管道容量减少的一个单位还原。
     释放连接
    如果连接失效，则把连接关闭，计数管道容量增加一个单位。
    如果连接没有失效，把连接放到空闲连接切片里，计数管道容量增加一个单位。

  • 总结

    根据上面总结的流程，连接池还需要维护另外两个结构：

    • 空闲队列
    • 阻塞请求的队列

      

      sql.DB

      Go在官方库sql中就实现了连接池，这样的好处在于：

      • 对于开发：就不用像java一样，需要自己找第三方的连接池实现
      • 对于driver的实现：只用关心怎么和数据库交互，不用考虑连接池的问题