构建LVS负载均衡项目实战

LVS跟防火墙一样，都是集成于Linux内核的一种功能。LVS基于OSI四层网络协议，可以实现多种Load Blance负载均衡功能，将前端请求按照设定规则调度到后端服务器，LVS调度功能和性能都很强大，唯一美中不足的是没有High Availability和健康状态检查功能，需要其他软件辅助实现，比如和keepalived组合实现高可用和负载均衡，和ldirectord结合实现后端服务器健康状态检查功能。

LVS基础

负载均衡集群技术实现

负载均衡技术类型：基于4层负载均衡技术和基于7层负载均衡技术

负载均衡实现方式：硬件负载均衡设备或者软件负载均衡

硬件负载均衡产品：F5 BIG-IP 、Citrix Netscaler 、深信服、Array 、Radware
软件负载均衡产品： LVS（Linux Virtual Server）、 Haproxy、Nginx、Ats（apache traffic server）

TCP/IP四、OSI七层模型

LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

LVS优点:

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。
稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。
成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。
配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。
支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用支持多种工作模型。
应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS的管理工具和内核模块ipvsadm/ipvs ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

模型原理专业术语：

VS：Virtual Server #虚拟服务 Director, Balancer #负载均衡器、分发器
RS：Real Server #后端请求处理服务器
CIP: Client IP #用户端
IP Director Virtual IP:VIP #负载均衡器虚拟
IP Director IP:DIP #负载均衡器
IP Real Server IP:RIP #后端请求处理服务器IP

LVS内核原理

1.当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。

2.当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。

3.LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将被放行至用户空间。

4.如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。

5.最后经由POSTROUTING链发往后端服务器。

LVS四中常见模型

NAT模型：

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP

(d). POSTROUTING链通过选路，将数据包发送给Real Server

(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。此时报文的源IP为RIP，目标IP为CIP

(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。此时报文的源IP为VIP，目标IP为CIP

LVS负载均衡DR工作模式（数据链路层）

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP

(f) 响应报文最终送达至客户端

特点：

1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

3、RS跟Director Server必须在同一个物理网络中

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

5、不支持地址转换，也不支持端口映射

6、RS可以是大多数常见的操作系统

7、RS的网关绝不允许指向DIP(因为我们不允许他经过director) 8、RS上的lo接口配置VIP的IP地址

LVS负载均衡TUN工作模式

TUN模式:采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍

1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。注意：需要设置lo接口的VIP不能在共网上出现

LVS负载均衡full-nat工作模式

lvs-fullnat（双向转换）通过请求报文的源地址为DIP，目标为RIP来实现转发

LVS负载均衡常见工作模式总结

lvs-nat与lvs-fullnat：请求和响应报文都经由Director
lvs-nat：RIP的网关要指向DIP
lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信
lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client
lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

LVS负载均衡调度算法（静态）

1.RR：轮叫调度（Round Robin）：调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载｡

2.WRR：加权轮叫（Weight RR）：调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.DH：目标地址散列调度（Destination Hash ）：根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

4.SH：源地址 hash（Source Hash）：源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空｡

LVS负载均衡调度算法（动态）

1.LC：最少链接（Least Connections）：调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）：在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载｡调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.SED：最短延迟调度（Shortest Expected Delay ）：在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）：需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

LVS软件包组成

程序包：ipvsadm（LVS管理工具）
Unit File: ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 #查看内核是否支持IPVS

LVS命令使用

-A --add-service在服务器列表中新添加一条新的虚拟服务器记录
-t 表示为tcp服务
-u 表示为udp服务
-s --scheduler 使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc

例：ipvsadm -A -t 192.168.64.7:80 -s wlc

-a --add-server #在服务器表中添加一条新的真实主机记录
-t --tcp-service 说明虚拟服务器提供tcp服务
-u --udp-service 说明虚拟服务器提供udp服务
-r --real-server 真实服务器地址
-m --masquerading 指定LVS工作模式为NAT模式
-w --weight 真实服务器的权值
-g --gatewaying 指定LVS工作模式为直接路由器模式（也是LVS默认的模式）
-i --ip 指定LVS的工作模式为隧道模式
-p 会话保持时间，定义流量呗转到同一个realserver的会话存留时间

ipvsadm -a -t 192.168.64.7:80 -r 192.168.64.107:80 -m -w 1

-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C –clear 清除内核虚拟服务器表中的所有记录。
-R –restore 恢复虚拟服务器规则
-S –save 保存虚拟服务器规则，输出为-R 选项可读的格式
-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l –list 显示内核虚拟服务器表

--numeric, -n：以数字形式输出地址和端口号
--exact：扩展信息，精确值
--connection，-c：当前IPVS连接输出
--stats：统计信息
--rate ：输出速率信息参数也可以从/proc/net/ip_vs*映射文件中查看

-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）

LVS实战

1.实现NAT模型

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64，#查看内核是否支持ipvs模块，并且安装ipvsadm

配置基于NAT模式的LVS负载均衡集群: lvs-server配置：

1、ipvsadm -A -t 172.18.64.7:80 -s wrr #开启一个基于80端口的虚拟服务，调度方式为wrr

2、ipvsadm -a -t 172.18.64.7:80 -r 192.168.100.17:80 -m -w 1 #配置web服务后端real server 为nat工作方式权重为1

3、ipvsadm -a -t 172.18.64.7:80 -r 192.168.64.107:80 -m -w 1 #配置web服务后端real server 为nat工作方式权重为1

4、修改内核配置，开启路由转发 #vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

5、real server配置配置网关指向192.168.64.7，开启web、php-fpm、mysql服务

2.负载均衡集群企业级应用实战-LVS-DR模式

1、配置VIP到本地网卡别名 ifconfig eth0:0 172.18.64.100 broadcast 172.18.64.100 netmask 255.255.255.255 up

配置VIP到本地网卡eth0:0上，并只广播自己 route add -host 172.18.64.100 dev eth0:0 #配置VIP路由 lvs-server配置：

2、ipvsadm -A -t 172.18.64.7:80 -s wrr #开启一个基于80端口的虚拟服务，调度方式为wrr

3、ipvsadm -a -t 172.18.64.7:80 -r 172.18.64.107:80 -g -w 1 #配置web服务后端real server 为DR工作方式权重为1

4、ipvsadm -a -t 172.18.64.7:80 -r 172.18.64.17:80 -g -w 1 #配置web服务后端real server 为DR工作方式权重为1

5、修改内核配置，开启路由转发 #vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

6、real server配置 ifconfig lo:0 172.18.64.100 broadcast 172.18.64.100 netmask 255.255.255.255 up

　　配置VIP到本地回环网卡lo上，并只广播自己 route add -host 172.18.64.100 lo:0

配置本地回环网卡路由 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

只回答目标IP地址是来访网络接口本地地址的ARP查询请求 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

###关闭arp应答

1：仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

2：必须避免将接口信息向非本网络进行通告开启web、php-fpm、mysql服务

实现LVS持久连接

由于HTTP是一种无状态协议，每次请求完毕之后就立即断开了，当用户浏览购物网站挑选商品的时候，看到一件商品加入购物车，此过程被重定向到了REALSERVER1上面来，当把第二件商品加入购物车又被重定向到了REALSERVER2上面，最后结账的时候在REALSERVER2上面，只有一件商品，这显然是用户无法接受的，此时就需要一种持久连接机制，来把同一用户的HTTP请求在超时时间内都重定向到同一台REALSERVER，超时时间可以自己定义，比如说2个小时，在超时时间内服务器会不断追踪用户的访问请求，把某一用户的所有请求都转发到同一台REALSERVER上面

对于电子商务网站来说，用户在挑选商品的时候使用的是80端口来浏览的，当付款的时候则是通过443的ssl加密的方式，当然当用户挑选完商品付款的时候我们当然不希望https的443跳转到另外一台REALSERVER，很显然应该是同一REALSERVER才对，这时候就要用到基于防火墙标记的持久连接，通过定义端口的姻亲关系来实现

功能：无论ipvs使用何种scheduler，其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS；此功能是通过lvs持久连接模板实现，其与调度方法无关；

iptables -t mangle -A PREROUTING -d 172.18.64.100 -p tcp --dport 80 -j MARK --set-mark 99 #在iptables 打上标记，把80端口标记为99

iptables -t mangle -A PREROUTING -d 172.16.64.100 -p tcp --dport 443 -j MARK --set-mark 99 #在iptables打上标记，把443端口标记为99

ipvsadm -A -f 99 -s rr -p #在lvs上建立基于99号标记的虚拟服务

ipvsadm -a -f 99 -r 172.18.64.107 -g

pvsadm -a -f 99 -r 172.18.64.17 -g #设置后端服务地址

实现LVS健康状态监测功能

ldirectord用来实现LVS负载均衡资源在主、备节点间的故障转移。在首次启动时，ldirectord可以自动创建IPVS表。此外，它还可以监控各RealServer的运行状态，一旦发现某RealServer运行异常时，还可以将其从IPVS表中移除。

ldirectord：监控和控制LVS守护进程，可管理LVS规则

软件包名称：ldirectord-3.9.6-0rc1.1.1.x86_64.rpm

软件包组成：

/etc/ha.d/ldirectord.cf主配置文件
/usr/share/doc/ldirectord-3.9.6/ldirectord.cf配置模版
/usr/lib/systemd/system/ldirectord.service 服务
/usr/sbin/ldirectord 主程序
/var/log/ldirectord.log 日志
/var/run/ldirectord.ldirectord.pid pid文件

Ldirectord 配置文件详解

checktimeout=3 #超时时间 单位是秒

checkinterval=1 #检查频率

autoreload=yes # 此项用来定义ldirectord是否每隔一段时间检查此配置文件是否发生改变并自动重新加载；

logfile=“/var/log/ldirectord.log“ #日志文件

quiescent=no #down时yes权重为0，no为删除

virtual=172.18.64.7 #指定VS的FWM或IP：port

　　real=172.16.0.7:80 gate 2

　　real=172.16.0.8:80 gate 1

　　fallback=127.0.0.1:80 gate 　　#sorry

　　server service=http

　　scheduler=wrr

checktype=negotiate #

ldirectord进程用于监控RealServer的方法

checkport=80 #检查端口

request="index.html" #检查页面

receive=“Test" #检查内容

View Code

补充

一键实现DR模型脚本：

RS端脚本：

#!/bin/bash
vip=192.168.0.100
mask='255.255.255.255‘
dev=lo:1
case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask broadcast $vip up
    route add   -host $vip dev $dev
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac

View Code

Server端：

#!/bin/bash
vip='192.168.0.100'
iface='eth0:1'
mask='255.255.255.255'
port='80'
rs1='192.168.0.101'
rs2='192.168.0.102'
scheduler='wrr'
type='
-g'
case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables  -F
    ipvsadm  -A   -t ${vip}:${port}   -s $scheduler
    ipvsadm  -a   -t ${vip}:${port}   -r ${rs1} $type  -w 1
    ipvsadm  -a   -t ${vip}:${port}   -r ${rs2} $type  -w 1
    ;;
stop)
    ipvsadm  -C   ifconfig $iface down
    ;;
*)
    echo "Usage $(basename $0) start|stop“;exit 1
    ;;
esac

View Code

posted @ 2017-11-21 17:43 黑夜繁星阅读(1357) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

黑夜天星

人定亦可胜天

构建LVS负载均衡项目实战

LVS基础

负载均衡集群技术实现

LVS四中常见模型

LVS负载均衡调度算法（静态）

LVS软件包组成

LVS实战

1.实现NAT模型

2.负载均衡集群企业级应用实战-LVS-DR模式

实现LVS持久连接

实现LVS健康状态监测功能

补充

公告