Fork me on GitHub

【Nginx】基于Consul+Upsync+Nginx实现动态负载均衡

一、Http动态负载均衡

什么是动态负载均衡

传统的负载均衡,如果Upstream参数发生变化,每次都需要重新加载nginx.conf文件,
因此扩展性不是很高,所以我们可以采用动态负载均衡,实现Upstream可配置化、动态化,无需人工重新加载nginx.conf。这类似分布式的配置中心

动态负载均衡实现方案

  1. Consul+Consul-template 每次发现配置更改需要raload nginx,重启Nginx。
  2. Consul+OpenResty 实现无需raload动态负载均衡
  3. Consul+upsync+Nginx 实现无需raload动态负载均衡

常用服务器注册与发现框架

  1. 常见服务发现框架 Consul、Eureka、 ZooKeeper以及Etcd ZooKeeper是这种类型的项目中历史最悠久的之一,它起源于Hadoop。它非常成熟、可靠,被许多大公(YouTube、eBay、雅虎等)使用。
  2. etcd是一个采用HTTP协议的健/值对存储系统,它是一个分布式和功能层次配置系统,可用于构建服务发现系统。其很容易部署、安装和使用,提供了可靠的数据持久化特性。它是安全的并且文档也十分齐全。

二、Consul快速入门

  Consul是一款开源的分布式服务注册与发现系统,通过HTTP API可以使得服务注册、发现实现起来非常简单,它支持如下特性。

  1. 服务注册:服务实现者可以通过HTTP API或DNS方式,将服务注册到Consul。
  2. 服务发现:服务消费者可以通过HTTP API或DNS方式,从Consul获取服务的IP和PORT。故障检测:支持如TCP、HTTP等方式的健康检查机制,从而当服务有故障时自动摘除。
  3. K/V存储:使用K/V存储实现动态配置中心,其使用HTTP长轮询实现变更触发和配置更改。
  4. 多数据中心:支持多数据中心,可以按照数据中心注册和发现服务,即支持只消费本地机房服务,使用多数据中心集群还可以避免单数据中心的单点故障。
  5. Raft算法:Consul使用Raft算法实现集群数据一致性。
  6. 通过Consul可以管理服务注册与发现,接下来需要有一个与Nginx部署在同一台机器的Agent来实现Nginx配置更改和Nginx重启功能。我们有Confd或者Consul-template两个选择,而Consul-template是Consul官方提供的,我们就选择它了。其使用HTTP长轮询实现变更触发和配置更改(使用Consul的watch命令实现)。也就是说,我们使用Consul-template实现配置模板,然后拉取Consul配置渲染模板来生成Nginx实际配置。

Consul环境搭建

  • 1.下载consul_0.7.5_linux_amd64.zip

    wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip
    
  • 2.解压consul_0.7.5_linux_amd64.zip

    unzip consul_0.7.5_linux_amd64.zip
    #如果解压出现该错误
    -bash: unzip: #未找到命令
    #解决办法
    yum -y install unzip
  • 3.执行以下 ./consul 出现以下信息就说明安装成功

  • 4.启动consul ,我的linux Ip地址192.168.140.133

     ./consul agent -dev -ui -node=consul-dev -client=192.168.140.133
    
  • 5.临时关闭防火墙 systemctl stop firewalld

  • 6.浏览器访问192.168.140.133:8500,会出现如下页面

  • 7.使用PostMan 注册Http服务

//此处ip地址为ConsulServer所在服务器的地址
//http://192.168.140.133:8500/v1/catalog/register /
//参数1
{
    "Datacenter": "dc1",
    "Node": "tomcat",
    "Address": "192.168.0.104", //本地地址
    "Service": {
        "Id": "192.168.0.104:8080", # 8080
        "Service": "haoworld",
        "tags": [
            "dev"
        ],
        "Port": 8080
    }
}
//参数2
{
    "Datacenter": "dc1",
    "Node": "tomcat",
    "Address": "192.168.0.104",
    "Service": {
        "Id": "192.168.0.104:8081",//8081
        "Service": "haoworld",
        "tags": [
            "dev"
        ],
        "Port": 8080
    }
}
   

Datacenter指定数据中心,Address指定服务IP,Service.Id指定服务唯一标识,Service.Service指定服务分组,Service.tags指定服务标签(如测试环境、预发环境等),Service.Port指定服务端口。

  • 8.发现Http服务 http://192.168.140.133:8500/v1/catalog/service/item_jd_tomcat

三、nginx-upsync-module

  注意:清除之前Nginx环境,重新安装。

nginx-upsync-module简介

  Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表,并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB,利用Consul的KV服务,每个Nginx Work进程独立的去拉取各个upstream的配置,并更新各自的路由。

nginx-upsync-module安装及配置整个流程

  1. 安装Nginx

    wget http://nginx.org/download/nginx-1.9.10.tar.gz
    #作用:实现反向代理、负载负载库
    
  2. 安装consul

    wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip
    #作用:对动态负载均衡均配置实现注册
    
  3. 安装nginx-upsync-module

    wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
    #作用:nginx动态获取最新upstream信息
    #解压安装
    unzip master.zip
    unzip consul_0.7.1_linux_amd64.zip
    #如果解压出现该错误
    -bash: unzip: 未找到命令
    #解决办法
    yum -y install unzip
    #安装Nginx
    #解压Nginx
    tar -zxvf nginx-1.9.10.tar.gz
    #配置Nginx
    groupadd nginx
    useradd -g nginx -s /sbin/nologin nginx
    mkdir -p /var/tmp/nginx/client/
    mkdir -p /usr/local/nginx
    #编译Nginx
  4. 编译Nginx

    cd nginx-1.9.0
    ./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master
    make && make install
    编译的是报错
    ./configure: error: SSL modules require the OpenSSL library.
    解决办法
    yum -y install openssl openssl-devel
  5. 创建upsync_dump_path

    mkdir /usr/local/nginx/conf/servers/
    #upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
    
  6. Upstream 动态配置

    http {
        upstream haoworld{
    server 127.0.0.1:11111;
    #连接Consul Server 动态获取 配置负载均衡信息,间隔0.5s获取信息
    upsync 192.168.140.133:8500/v1/kv/upstreams/haoworld upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
    #动态的拉去ConsulServer 相关负载均衡信息持久化到硬盘上
    upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
    }
    server {
    listen 80;
    server_name localhost;
    location / {
    proxy_pass http://haoworld;
    index index.html index.htm;
    }
    }
    }
    • upsync指令指定从consul哪个路径拉取上游服务器配置;upsync_timeout配置从consul拉取上游服务器配置的超时时间;upsync_interval配置从consul拉取上游服务器配置的间隔时间;upsync_type指定使用consul配置服务器;strong_dependency配置nginx在启动时是否强制依赖配置服务器,如果配置为on,则拉取配置失败时nginx启动同样失败。upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
    • 注意:替换 consul 注册中心地址
  7. 启动consul

    临时关闭防火墙systemctl stop firewalld
    我的linux Ip地址192.168.140.133
    ./consul agent -dev -ui -node=consul-dev -client=192.168.140.133
  8. 添加nginx Upstream服务

    1.使用linux命令方式发送put请求
    curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
    curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
    2.使用postmen 发送put请求
    http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081 http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
    负载均衡信息参数
    {"weight":1, "max_fails":2, "fail_timeout":10, "down":0}
  9. 启动Nginx

posted @ 2019-09-05 15:17  这个世界~  阅读(356)  评论(0编辑  收藏  举报