搭建 Keepalived + Nginx + Tomcat 的高可用负载均衡架构
1、概述
初期的互联网企业由于业务量较小，所以一般单机部署，实现单点访问即可满足业务的需求，这也是最简单的部署方式，但是随着业务的不断扩大，系统的访问量逐渐的上升，单机部署的模式已无法承载现有的业务量，需要进行服务集群化部署，本文主要介绍服务端tomcat多实例部署，以及如何保证 web 服务的高可用方案。
- nginx 是一个高性能的 HTTP 反向代理服务器
- Keepalived 是一个基于VRRP 协议来实现的 LVS 服务高可用方案，可以利用其来避免服务的单点故障。
- tomcat是一个免费的开放源代码的 Web 应用服务器，属于轻量级应用服务器。
2、nginx的高可用负载均衡架构
如下图：为典型的 Tomcat 服务多实例部署的架构图
1、用户通过域名请求到 DNS，由 DNS 解析域名后返回对应的 IP 地址，该 IP 及为 Keepalived 映射服务器的虚拟 IP
2、通过该虚拟 IP 访问到对应的负载均衡器（nginx），这里 Nginx 部署两个，然后通过 Keepalived 来保证 NG 的高可用，正常情况下由 Keepalived-M 将虚拟 IP 映射转发至 Nginx-M，如果 Nginx-M 出现故障，此时 Keepalived 会切换至 Keepalived-S 开始工作，从而保证了 NG 的单点故障问题。
3、通过 Nginx 负载均衡器，将请求路由到对应的 Tomcat 服务。
3、搭建 Keepalived + Nginx + Tomcat 的高可用负载均衡架构
3.1 需要准备的软件
（1）apache-tomcat-8.5.16.tar.gz
（2）nginx-1.12.2.tar.gz
（3）keepalived-1.3.9.tar.gz
3.2 服务器准备
两台服务器如：192.168.10.11，192.168.10.12
3.3 安装需要的依赖包
yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel
3.4 安装
3.4.1 安装 Tomcat
（1）分别在两台服务器中安装 Tomcat，解压 apache-tomcat-8.5.16.tar.gz 及可完成安装。
3.4.2 安装 Nginx
（1）解压安装包：tar -zxvf nginx-1.12.2.tar.gz
（2）进入到 nginx-1.12.2 目录：cd nginx-1.12.
（3）执行编译：./configure --with-http_stub_status_module --with-http_ssl_module --prefix=/usr/local/nginx
make && sudo make install
3.4.3 安装 Keepalived
（1）解压安装包：tar -zxvf keepalived-1.3.9.tar.gz
（2）进入到 keepalived-1.3.9 目录：cd keepalived-1.3.9
（3）执行编译：./configure --prefix=/usr/local/keepalived --sysconf=/etc
make && sudo make install
3.5 配置
3.5.1 分别配置两台服务器的 Nginx
（1）分别修改两台服务器 nginx 配置文件，vi /usr/local/nginx/conf/nginx.conf
（2）内容如下：
#nginx进程数
worker_processes 1;
#单个进程最大连接数
events {
worker_connections 1024;
}
#http服务器配置
http {
include mime.types;
default_type application/octet-streams;
sendfile on;
#长连接超时时间，单位是秒
keepalive_timeout 65;
#upstream负载均衡配置，配置路由到tomcat的服务地址以及权重
upstream localhost{
server 192.168.10.11:8080 weight=2;
server 192.168.10.12:8080 weight=2;
}
#虚拟主机的配置
server {
#监听端口
listen 80;
#域名可以有多个，用空格隔开
server_name localhost;
location / {
root html;
index index.html index.htm;
#nginx跟后端服务器连接超时时间(代理连接超时)
proxy_connect_timeout 3;
#后端服务器数据回传时间(代理发送超时)
proxy_send_timeout 30;
#连接成功后，后端服务器响应时间(代理接收超时)
proxy_read_timeout 30;
proxy_pass http://localhost;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
3.5.2 主 Keepalived 配置
（1）修改 11 服务器的 keepalived 配置文件，vi /etc/keepalived/keepalived.conf
（2）内容如下：
! Configuration File for keepalived
#全局配置
global_defs {
#keepalived切换的时候，发消息到指定的email，可配置多个email
notification_email {
feinik1@foxmail.com
feinik2@foxmail.com
}
#通知邮件从哪个地址发出
notification_email_from feinik@foxmail.com
#通知邮件的smtp地址
smtp_server smtp.exmail.qq.com
#连接smtp服务器的超时时间，单位秒
smtp_connect_timeout 30
#Keepalived的机器标识，一个网络内保持唯一
}
#执行脚本配置
vrrp_script chk_nginx {
#脚本所在路径
script "/home/project/keepalived/check_nginx.sh"
#脚本执行间隔时间，秒
interval 2
#优先级
weight 2
}
#keepalived实例配置
vrrp_instance VI_1 {
#指定实例的初始状态，MASTER或BACKUP两种状态，并且需要大写
state MASTER
#实例绑定的网卡
interface ens33
#虚拟路由标识，是一个数字，整个VRRP内唯一，如果keepalived配置了主备，需要相同
virtual_router_id 51
#优先级，数值愈大，优先级越高
priority 100
#MASTER与BACKUP之间同步检查的时间间隔，单位为秒
advert_int 1
#通信验证
authentication {
auth_type PASS
auth_pass feinik
}
#追踪外围脚本
track_script {
#这里配置vrrp_script的名称
chk_nginx
}
#虚拟ip配置，可配置多个
virtual_ipaddress {
192.168.10.200
}
}
3.5.3 备 Keepalived 配置
（1）修改 12 服务器的 keepalived 配置文件，vi /etc/keepalived/keepalived.conf
（2）内容如下：
! Configuration File for keepalived
#全局配置
global_defs {
#keepalived切换的时候，发消息到指定的email，可配置多个email
notification_email {
feinik1@foxmail.com
feinik2@foxmail.com
}
#通知邮件从哪个地址发出
notification_email_from feinik@foxmail.com
#通知邮件的smtp地址
smtp_server smtp.exmail.qq.com
#连接smtp服务器的超时时间，单位秒
smtp_connect_timeout 30
#Keepalived的机器标识，一个网络内保持唯一
router_id nginx-master
}
#执行脚本配置
vrrp_script chk_nginx {
#脚本所在路径
script "/home/project/keepalived/check_nginx.sh"
#脚本执行间隔时间，秒
interval 2
#优先级
weight 2
}
#keepalived实例配置
vrrp_instance VI_1 {
#指定实例的初始状态，MASTER或BACKUP两种状态，并且需要大写
state BACKUP
#实例绑定的网卡
interface ens33
#虚拟路由标识，是一个数字，整个VRRP内唯一，如果keepalived配置了主备，需要相同
virtual_router_id 51
#优先级，数值愈大，优先级越高
priority 99
#MASTER与BACKUP之间同步检查的时间间隔，单位为秒
advert_int 1
#通信验证
authentication {
auth_type PASS
auth_pass feinik
}
#追踪外围脚本
track_script {
#这里配置vrrp_script的名称
chk_nginx
}
#虚拟ip配置，可配置多个
virtual_ipaddress {
192.168.10.200
}
}
3.5.4 Nginx 状态检查脚本创建
（1）新建 Nginx 的状态检查脚本：check_nginx.sh
（2）内容如下：
#!/bin/sh
NGINX=/usr/common/nginx/sbin/nginx
PORT=80
nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
$NGINX -s stop
#这里再次尝试启动NG
$NGINX
sleep 5
nmap localhost -p $PORT | grep "$PORT/tcp open"
[ $? -ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived
echo "stoped"
fi
4、运行测试
（1）为了更直观的查看到 keepalived 切换的效果，将 11 服务器中的 nginx 的 upstream 服务只配置 11 的 tomcat 服务地址，12 服务器中的 upstream 服务只配置 12 的 tomcat 服务地址，这样只需要观察将 11 服务器中的 nginx 关闭看使用虚拟 ip 是否可以访问到 12 服务器的 tomcat。
（2）分别启动两个服务器中的 tomcat、nginx、keepalived，访问虚拟 ip：192.168.10.200，可以查看到访问的是主 keepalived 服务器的 tomcat。
（3）关闭 11 服务器的 nginx，nginx -s stop，再次访问虚拟 ip，如下：说明主 keepalived 通过配置的脚本检测到了本服务的 nginx 服务挂掉了，所以立马切换至了备的 keepalived，这时 12 服务器的 keepalived 升为了主，所以就访问到了 12 服务器的 tomcat。
浙公网安备 33010602011771号