Nginx 负载均衡upstream_check_module 健康检查

大家都知道，前端nginx做反向代理，如果后端服务器宕掉的话，nginx是不能把这台real server踢出upstream的，所以还会有请求转发到后端的这台real server上面去，虽然nginx可以在localtion中启用proxy_next_upstream来解决返回给用户的错误页面，但这个还是会把请求转发给这台服务器的，然后再转发给别的服务器，这样就浪费了一次转发，这次借助与淘宝技术团队开发的nginx模快nginx_upstream_check_module来检测后方realserver的健康状态，如果后端服务器不可用，则所以的请求不转发到这台服务器。

 转载于https://blog.csdn.net/qq_34556414/article/details/106636710

nginx_upstream_check_module模块

nginx_upstream_check_module 是专门提供负载均衡器内节点的健康检查的外部模块，由淘宝的姚伟斌大神开发，通过它可以用来检测后端 realserver 的健康状态。如果后端 realserver 不可用，则后面的请求就不会转发到该节点上，并持续检查几点的状态。在淘宝自己的 tengine 上是自带了该模块。项目地址：https://github.com/yaoweibin/nginx_upstream_check_module 。  

在淘宝自己的 tengine 上是自带了该模块的，大家可以访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。

 

nginx后端健康检查

nginx自带健康检查的缺陷：

  1. Nginx只有当有访问时后，才发起对后端节点探测。
  2. 如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发
  3. 自带模块无法做到预警
  4. 被动健康检查

使用第三访模块nginx_upstream_check_module：

  1. 区别于nginx自带的非主动式的心跳检测，淘宝开发的tengine自带了一个提供主动式后端服务器心跳检测模块
  2. 若健康检查包类型为http，在开启健康检查功能后，nginx会根据设置的间隔向指定的后端服务器端口发送健康检查包，并根据期望的HTTP回复状态码来判断服务是否健康。
  3. 后端真实节点不可用，则请求不会转发到故障节点
  4. 故障节点恢复后，请求正常转发

 

nginx被动检查

Nginx自带有健康检查模块：ngx_http_upstream_module，可以做到基本的健康检查，配置如下：

  1.  
    upstream cluster{
  2.  
    server 172.16.0.23:80 max_fails=1 fail_timeout=10s;
  3.  
    server 172.16.0.24:80 max_fails=1 fail_timeout=10s;
  4.  
    　　 # max_fails=1和fail_timeout=10s 表示在单位周期为10s钟内，中达到1次连接失败，那么接将把节点标记为不可用，并等待下一个周期（同样时常为fail_timeout）再一次去请求，判断是否连接是否成功。
  5.  
    　　 # fail_timeout为10s,max_fails为1次。
  6.  
    }
  7.  
    server {
  8.  
    listen 80;
  9.  
    server_name xxxxxxx.com;
  10.  
    location / {
  11.  
    proxy_pass http://cluster;
  12.  
    }
  13.  
    }

缺点：
Nginx只有当有访问时后，才发起对后端节点探测。如果本次请求中，节点正好出现故障，Nginx依然将请求转交给故障的节点,然后再转交给健康的节点处理。所以不会影响到这次请求的正常进行。但是会影响效率,因为多了一次转发,而且自带模块无法做到预警。

 

nginx主动检查

主动地健康检查，nignx定时主动地去ping后端的服务列表，当发现某服务出现异常时，把该服务从健康列表中移除，当发现某服务恢复时，又能够将该服务加回健康列表中。淘宝有一个开源的实现nginx_upstream_check_module模块

  1.  
    github地址：https://github.com/yaoweibin/nginx_upstream_check_module
  2.  
    taobao官网：http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

安装nginx_upstream_check_module 

 安装扩展模块，需要编译安装的nginx，版本自己选择（我的是nginx version: nginx/1.16.1）

(1)获取安装包

  1.  
    [root@www src]# wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
  2.  
    Saving to: ?.aster?
  3.  
     
  4.  
    [ <=> ] 175,413 277KB/s in 0.6s
  5.  
     
  6.  
    2020-09-28 10:36:44 (277 KB/s) - ?.aster?.saved [175413]

(2)给nginx打个补丁

（master解压后的文件为nginx_upstream_check_module-master 里面包含了多个补丁版本，根据自己的nginx版本选择)

  1.  
    [root@www src]# unzip master
  2.  
    [root@www src]# ls
  3.  
    debug kernels nginx-1.16.1 nginx_upstream_check_module-master
  4.  
    master nginx-1.16.1.tar.gz
  5.  
     
  6.  
    #进入nginx-1.16.1源码目录，进行打该模块的补丁（这一步千万不能遗漏）
  7.  
    [root@www nginx-1.16.1]# yum install patch-2.7.1-12.el7_7.x86_64 -y
  8.  
    [root@www nginx-1.16.1]# patch -p1 < /usr/src/nginx_upstream_check_module-master/check_1.16.1+.patch
  9.  
    patching file src/http/modules/ngx_http_upstream_hash_module.c
  10.  
    patching file src/http/modules/ngx_http_upstream_ip_hash_module.c
  11.  
    patching file src/http/modules/ngx_http_upstream_least_conn_module.c
  12.  
    patching file src/http/ngx_http_upstream_round_robin.c
  13.  
    patching file src/http/ngx_http_upstream_round_robin.h

 （3）编译安装

  1.  
    [root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
  2.  
    nginx version: nginx/1.16.1
  3.  
    built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
  4.  
    configure arguments: --prefix=/usr/local/nginx
  5.  
    [root@www nginx-1.16.1]# ./configure --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/
  6.  
    checking for OS
  7.  
    + Linux 3.10.0-693.el7.x86_64 x86_64
  8.  
    checking for C compiler ... found
  9.  
    + using GNU C compiler
  10.  
    + gcc version: 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
  11.  
     
  12.  
    [root@www nginx-1.16.1]# make && make install
  13.  
     
  14.  
    [root@www nginx-1.16.1]# make upgrade
  15.  
    /usr/local/nginx/sbin/nginx -t
  16.  
    nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
  17.  
    nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
  18.  
    kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`
  19.  
    sleep 1
  20.  
    test -f /usr/local/nginx/logs/nginx.pid.oldbin
  21.  
    kill -QUIT `cat /usr/local/nginx/logs/nginx.pid.oldbin`
  22.  
     
  23.  
    [root@www nginx-1.16.1]# /usr/local/nginx/sbin/nginx -V
  24.  
    nginx version: nginx/1.16.1
  25.  
    built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
  26.  
    configure arguments: --prefix=/usr/local/nginx --add-module=/usr/src/nginx_upstream_check_module-master/

 

nginx_upstream_check_module模块使用

服务治理的一个重要任务是感知服务节点变更，完成服务自动注册及异常节点的自动摘除。这就需要服务治理平台能够：及时、准确的感知service节点的健康状况。

方案概述

Nginx 提供了三种HTTP服务健康检查方案供用户选择：

  1. TCP层默认检查方案：

    定时与后端服务建立一条tcp连接，链接建立成功则认为服务节点是健康的。

  2. HTTP层默认检查方案：

    TCP层检查有一定的局限性：

    1. 很多HTTP服务是带状态的，端口处于listen状态并不能代表服务已经完成预热；

    2. 不能真实反映服务内部处理逻辑是否产生拥堵。

    3. 这时可以选择http层健康检查，会向服务发送一个http请求GET / HTTP/1.0\r\n\r\n，返回状态是2xx或3xx时认为后端服务正常。

  3. 自定义方案：（nginx_upstream_check_module模块）

    可根据下文描述自定义检查方案。

 

配置参数详解

一个常用的健康检查配置如下：

  1.  
    check fall=3 interval=3000 rise=2 timeout=2000 type=http;
  2.  
    check_http_expect_alive http_2xx http_3xx ;
  3.  
    check_http_send "GET /checkAlive HTTP/1.0\r\n\r\n" ;

下面针对每个配置参数，进行详细介绍。

 

check：

check 字段参数如下：

Syntax: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]Default: 如果没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp

check 字段各个参数含义如下：

  • interval：向后端发送的健康检查包的间隔，单位为毫秒。

  • fall(fall_count): 如果连续失败次数达到fall_count，服务器就被认为是down。

  • rise(rise_count): 如果连续成功次数达到rise_count，服务器就被认为是up。

  • timeout: 后端健康请求的超时时间。

  • default_down: 设定初始时服务器的状态，如果是true，就说明默认是down的，如果是false，就是up的。

    默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到一定成功次数以后才会被认为是健康的。

  • type：健康检查包的类型，现在支持以下多种类型    

    • tcp：

      简单的tcp连接，如果连接成功，就说明后端正常。

    • ssl_hello：

      发送一个初始的SSL hello包并接受服务器的SSL hello包。

    • http：

      发送HTTP请求，通过后端的回复包的状态来判断后端是否存活。

    • mysql: 向mysql服务器连接，通过接收服务器的greeting包来判断后端是否存活。

    • ajp：

      向后端发送AJP协议的Cping包，通过接收Cpong包来判断后端是否存活。

    • port: 指定后端服务器的检查端口。

      可以指定不同于真实服务的后端服务器的端口，比如后端提供的是443端口的应用，你可以去检查80端口的状态来判断后端健康状况。

      默认是0，表示跟后端server提供真实服务的端口一样。

check_http_expect_alive：

check_http_expect_alive 指定主动健康检查时HTTP回复的成功状态：

  1.  
    Syntax: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
  2.  
    Default: http_2xx | http_3xx

check_http_send：

check_http_send 配置http健康检查包发送的请求内容

为了减少传输数据量，推荐采用”HEAD”方法。当采用长连接进行健康检查时，需在该指令中添加keep-alive请求头，如：”HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n”。同时，在采用”GET”方法的情况下，请求uri的size不宜过大，确保可以在1个interval内传输完成，否则会被健康检查模块视为后端服务器或网络异常。

  1.  
    Syntax: check_http_send http_packet
  2.  
    Default: "GET / HTTP/1.0\r\n\r\n"

 

完整示例

完整示例，如下：

http {
  1.  
    upstream cluster1 {
  2.  
      # simple round-robin
  3.  
      server 192.168.0.1:80;
  4.  
      server 192.168.0.2:80;
  5.  
      check interval=3000 rise=2 fall=5 timeout=1000 type=http;
  6.  
      check_http_send "HEAD / HTTP/1.0\r\n\r\n";
  7.  
      check_http_expect_alive http_2xx http_3xx;
  8.  
      }
  1.  
    upstream cluster2 {
  2.  
      # simple round-robin
  3.  
      server 192.168.0.3:80;
  4.  
      server 192.168.0.4:80;
  5.  
      check interval=3000 rise=2 fall=5 timeout=1000 type=http;
  6.  
      check_keepalive_requests 100;
  7.  
      check_http_send "HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n";
  8.  
      check_http_expect_alive http_2xx http_3xx;
  9.  
      }
  1.  
    server {
  2.  
      listen 80;
  3.  
      location /1 {
  4.  
      proxy_pass http://cluster1;
  5.  
      }
  1.  
    location /2 {
  2.  
      proxy_pass http://cluster2;
  3.  
      }
  1.  
    location /status {
  2.  
      check_status;
  3.  
      access_log off;
  4.  
      allow SOME.IP.ADD.RESS;
  5.  
      deny all;
  6.  
      }
  7.  
    }
  8.  
    }

 

状态测试

  1.  
    [root@www ~]# /usr/local/tomcat/bin/shutdown.sh
  2.  
    Using CATALINA_BASE: /usr/local/tomcat
  3.  
    Using CATALINA_HOME: /usr/local/tomcat
  4.  
    Using CATALINA_TMPDIR: /usr/local/tomcat/temp
  5.  
    Using JRE_HOME: /usr/java/jdk1.8.0_131
  6.  
    Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
  7.  
     
  8.  
     
  9.  
    [root@www ~]# tail -f /usr/local/nginx/logs/error.log
  10.  
    2020/09/28 11:18:38 [notice] 8400#0: using inherited sockets from "6;"
  11.  
    2020/09/28 11:21:05 [notice] 8409#0: signal process started
  12.  
    2020/09/28 11:33:37 [notice] 8419#0: signal process started
  13.  
    2020/09/28 11:33:42 [error] 8420#0: enable check peer: 192.168.179.100:8080
  14.  
    2020/09/28 11:51:23 [error] 8420#0: send() failed (111: Connection refused)
  15.  
    2020/09/28 11:51:26 [error] 8420#0: send() failed (111: Connection refused)
  16.  
    2020/09/28 11:51:29 [error] 8420#0: send() failed (111: Connection refused)
  17.  
    2020/09/28 11:51:32 [error] 8420#0: send() failed (111: Connection refused)
  18.  
    2020/09/28 11:51:35 [error] 8420#0: send() failed (111: Connection refused)
  19.  
    2020/09/28 11:51:35 [error] 8420#0: disable check peer: 192.168.179.100:8080

  1.  
    [root@www ~]# /usr/local/tomcat/bin/startup.sh
  2.  
    Using CATALINA_BASE: /usr/local/tomcat
  3.  
    Using CATALINA_HOME: /usr/local/tomcat
  4.  
    Using CATALINA_TMPDIR: /usr/local/tomcat/temp
  5.  
    Using JRE_HOME: /usr/java/jdk1.8.0_131
  6.  
    Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
  7.  
    Tomcat started.
  8.  
     
  9.  
     
  10.  
    2020/09/28 11:52:13 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  11.  
    2020/09/28 11:52:17 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  12.  
    2020/09/28 11:52:22 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  13.  
    2020/09/28 11:52:26 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  14.  
    2020/09/28 11:52:31 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  15.  
    2020/09/28 11:52:35 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  16.  
    2020/09/28 11:52:40 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  17.  
    2020/09/28 11:52:44 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  18.  
    2020/09/28 11:52:49 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  19.  
    2020/09/28 11:52:53 [error] 8420#0: check time out with peer: 192.168.179.100:8080
  20.  
    2020/09/28 11:53:01 [error] 8420#0: enable check peer: 192.168.179.100:8080
posted @ 2020-11-20 16:54  技术颜良  阅读(1821)  评论(0)  编辑  收藏  举报