AmazingCounters.com

构建LVS负载均衡项目实战

LVS跟防火墙一样,都是集成于Linux内核的一种功能。LVS基于OSI四层网络协议,可以实现多种Load Blance负载均衡功能,将前端请求按照设定规则调度到后端服务器,LVS调度功能和性能都很强大,唯一美中不足的是没有High  Availability和健康状态检查功能,需要其他软件辅助实现,比如和keepalived组合实现高可用和负载均衡,和ldirectord结合实现后端服务器健康状态检查功能。

LVS基础

负载均衡集群技术实现

负载均衡技术类型:基于4层负载均衡技术和基于7层负载均衡技术

负载均衡实现方式:硬件负载均衡设备或者软件负载均衡

  • 硬件负载均衡产品:F5 BIG-IP 、Citrix Netscaler 、深信服 、Array 、Radware
  • 软件负载均衡产品: LVS(Linux Virtual Server)、 Haproxy、Nginx、Ats(apache traffic server)

TCP/IP四、OSI七层模型

 LVS软件作用:通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集,它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

LVS优点:

  • 高并发连接:LVS基于内核网络层面工作,有超强的承载能力和并发处理能力。单台LVS负载均衡器,可支持上万并发连接。
  • 稳定性强:是工作在网络4层之上仅作分发之用,这个特点也决定了它在负载均衡软件里的性能最强,稳定性最好,对内存和cpu资源消耗极低。
  • 成本低廉:硬件负载均衡器少则十几万,多则几十万上百万,LVS只需一台服务器和就能免费部署使用,性价比极高。
  • 配置简单:LVS配置非常简单,仅需几行命令即可完成配置,也可写成脚本进行管理。
  • 支持多种算法:支持多种论调算法,可根据业务场景灵活调配进行使用 支持多种工作模型。
  • 应用范围广:因为LVS工作在4层,所以它几乎可以对所有应用做负载均衡,包括http、数据库、DNS、ftp服务等等

缺点:工作在4层,不支持7层规则修改,机制过于庞大,不适合小规模应用。

LVS的管理工具和内核模块ipvsadm/ipvs ipvsadm:用户空间的命令行工具,用于管理集群服务及集群服务上的RS等;

ipvs:工作于内核上的netfilter INPUT钩子之上的程序,可根据用户定义的集群实现请求转发;

模型原理专业术语:

  • VS:Virtual Server #虚拟服务 Director, Balancer #负载均衡器、分发器
  • RS:Real Server #后端请求处理服务器
  • CIP: Client IP #用户端
  • IP Director Virtual IP:VIP #负载均衡器虚拟
  • IP Director IP:DIP #负载均衡器
  • IP Real Server IP:RIP #后端请求处理服务器IP

LVS内核原理

1.当客户端的请求到达负载均衡器的内核空间时,首先会到达PREROUTING链。

2.当内核发现请求数据包的目的地址是本机时,将数据包送往INPUT链。

3.LVS由用户空间的ipvsadm和内核空间的IPVS组成,ipvsadm用来定义规则,IPVS利用ipvsadm定义的规则工作,IPVS工作在INPUT链上,当数据包到达INPUT链时,首先会被IPVS检查,如果数据包里面的目的地址及端口没有在规则里面,那么这条数据包将被放行至用户空间。

4.如果数据包里面的目的地址及端口在规则里面,那么这条数据报文将被修改目的地址为事先定义好的后端服务器,并送往POSTROUTING链。

5.最后经由POSTROUTING链发往后端服务器。

LVS四中常见模型

NAT模型:

(a). 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为VIP

(b). PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链

(c). IPVS比对数据包请求的服务是否为集群服务,若是,修改数据包的目标IP地址为后端服务器IP,然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP,目标IP为RIP

(d). POSTROUTING链通过选路,将数据包发送给Real Server

(e). Real Server比对发现目标为自己的IP,开始构建响应报文发回给Director Server。 此时报文的源IP为RIP,目标IP为CIP

(f). Director Server在响应客户端前,此时会将源IP地址修改为自己的VIP地址,然后响应给客户端。 此时报文的源IP为VIP,目标IP为CIP

LVS负载均衡DR工作模式(数据链路层)

(a) 当用户请求到达Director Server,此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为VIP

(b) PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链

(c) IPVS比对数据包请求的服务是否为集群服务,若是,将请求报文中的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改RIP的MAC地址,然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改,仅修改了源MAC地址为DIP的MAC地址,目标MAC地址为RIP的MAC地址

(d) 由于DS和RS在同一个网络中,所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址,那么此时数据包将会发至Real Server。

(e) RS发现请求报文的MAC地址是自己的MAC地址,就接收此报文。处理完成之后,将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP,目标IP为CIP

(f) 响应报文最终送达至客户端

特点:

1、保证前端路由将目标地址为VIP报文统统发给Director Server,而不是RS

2、RS可以使用私有地址;也可以是公网地址,如果使用公网地址,此时可以通过互联网对RIP进行直接访问

3、RS跟Director Server必须在同一个物理网络中

4、所有的请求报文经由Director Server,但响应报文必须不能进过Director Server

5、不支持地址转换,也不支持端口映射

6、RS可以是大多数常见的操作系统

7、RS的网关绝不允许指向DIP(因为我们不允许他经过director) 8、RS上的lo接口配置VIP的IP地址

LVS负载均衡TUN工作模式

TUN模式:采用NAT技术时,由于请求和响应报文都必须经过调度器地址重写,当客户请求越来越多时,调度器的处理能力将成为瓶颈。为了解决这个问题,调度器把请求报文通过IP隧道转发至真实服务器,而真实服务器将响应直接返回给客户,所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多,采用 VS/TUN技术后,集群系统的最大吞吐量可以提高10倍

1.客户端将请求发往前端的负载均衡器,请求报文源地址是CIP,目标地址为VIP。

2.负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP,目标地址改为RIP,并将此包发送给RS。

3.RS收到请求报文后,会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP,所以会处理次请求报文,并将响应报文通过lo接口送给eth0网卡直接发送给客户端。注意:需要设置lo接口的VIP不能在共网上出现

LVS负载均衡full-nat工作模式

lvs-fullnat(双向转换) 通过请求报文的源地址为DIP,目标为RIP来实现转发

LVS负载均衡常见工作模式总结

  • lvs-nat与lvs-fullnat:请求和响应报文都经由Director
  • lvs-nat:RIP的网关要指向DIP
  • lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信
  • lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
  • lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
  • lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信

LVS负载均衡调度算法(静态)

1.RR:轮叫调度(Round Robin):调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。

2.WRR:加权轮叫(Weight RR): 调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.DH:目标地址散列调度(Destination Hash ):根据请求的目标IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

4.SH:源地址 hash(Source Hash): 源地址散列”调度算法根据请求的源IP地址,作为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。

LVS负载均衡调度算法(动态)

1.LC:最少链接(Least Connections):调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能,采用”最小连接”调度算法可以较好地均衡负载。

2.WLC:加权最少连接(默认采用的就是这种)(Weighted Least Connections):在集群系统中的服务器性能差异较大的情况下,调度器采用“加权最少链接”调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.SED:最短延迟调度(Shortest Expected Delay ):在WLC基础上改进,Overhead = (ACTIVE+1)*256/加权,不再考虑非活动状态,把当前处于活动状态的数目+1来实现,数目最小的,接受下次请求,+1的目的是为了考虑加权的时候,非活动连接过多缺陷:当权限过大的时候,会倒置空闲服务器一直处于无连接状态。

4.NQ永不排队/最少队列调度(Never Queue Scheduling NQ):需队列。如果有台 realserver的连接数=0就直接分配过去,不需要再进行sed运算,保证不会有一个主机很空间。在SED基础上无论+几,第二次一定给下一个,保证不会有一个主机不会很空闲着,不考虑非活动连接,才用NQ,SED要考虑活动状态连接,对于DNS的UDP不需要考虑非活动连接,而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

LVS软件包组成

  • 程序包:ipvsadm(LVS管理工具)
  • Unit File: ipvsadm.service
  • 主程序:/usr/sbin/ipvsadm
  • 规则保存工具:/usr/sbin/ipvsadm-save
  • 规则重载工具:/usr/sbin/ipvsadm-restore
  • 配置文件:/etc/sysconfig/ipvsadm-config

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 #查看内核是否支持IPVS

LVS命令使用

  • -A --add-service在服务器列表中新添加一条新的虚拟服务器记录
  • -t 表示为tcp服务
  • -u 表示为udp服务
  • -s --scheduler 使用的调度算法, rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc

例:ipvsadm  -A  -t  192.168.64.7:80  -s wlc  

  • -a  --add-server #在服务器表中添加一条新的真实主机记录
  • -t --tcp-service 说明虚拟服务器提供tcp服务
  • -u --udp-service 说明虚拟服务器提供udp服务
  • -r --real-server 真实服务器地址
  • -m --masquerading 指定LVS工作模式为NAT模式
  • -w --weight 真实服务器的权值
  • -g --gatewaying 指定LVS工作模式为直接路由器模式(也是LVS默认的模式)
  • -i --ip 指定LVS的工作模式为隧道模式
  • -p 会话保持时间,定义流量呗转到同一个realserver的会话存留时间 

ipvsadm -a -t 192.168.64.7:80  -r 192.168.64.107:80  -m  -w 1

  • -E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
  • -D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
  • -C –clear 清除内核虚拟服务器表中的所有记录。
  • -R –restore 恢复虚拟服务器规则
  • -S –save 保存虚拟服务器规则,输出为-R 选项可读的格式
  • -e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
  • -d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l –list 显示内核虚拟服务器表        

  • --numeric, -n:以数字形式输出地址和端口号
  • --exact:扩展信息,精确值
  • --connection,-c:当前IPVS连接输出
  • --stats:统计信息
  • --rate :输出速率信息 参数也可以从/proc/net/ip_vs*映射文件中查看

-Z –zero 虚拟服务表计数器清零(清空当前的连接数量等)

LVS实战

1.实现NAT模型

grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64,#查看内核是否支持ipvs模块,并且安装ipvsadm

配置基于NAT模式的LVS负载均衡集群: lvs-server配置:

1、ipvsadm -A -t 172.18.64.7:80  -s wrr  #开启一个基于80端口的虚拟服务,调度方式为wrr

2、ipvsadm -a -t 172.18.64.7:80  -r 192.168.100.17:80 -m -w 1 #配置web服务后端real server 为nat工作方式 权重为1

3、ipvsadm -a -t 172.18.64.7:80  -r 192.168.64.107:80 -m -w 1 #配置web服务后端real server 为nat工作方式 权重为1

4、修改内核配置,开启路由转发 #vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

5、real server配置 配置网关指向192.168.64.7,开启web、php-fpm、mysql服务

2.负载均衡集群企业级应用实战-LVS-DR模式

1、配置VIP到本地网卡别名  ifconfig eth0:0  172.18.64.100  broadcast  172.18.64.100 netmask 255.255.255.255 up

     配置VIP到本地网卡eth0:0上,并只广播自己 route add -host 172.18.64.100 dev eth0:0 #配置VIP路由 lvs-server配置:

2、ipvsadm -A -t 172.18.64.7:80  -s wrr #开启一个基于80端口的虚拟服务,调度方式为wrr

3、ipvsadm -a -t 172.18.64.7:80 -r 172.18.64.107:80 -g -w 1 #配置web服务后端real server 为DR工作方式权重为1

4、ipvsadm -a -t 172.18.64.7:80 -r 172.18.64.17:80 -g -w 1 #配置web服务后端real server 为DR工作方式 权重为1

5、修改内核配置,开启路由转发 #vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 #sysctl -p 使其生效

6、real server配置 ifconfig lo:0 172.18.64.100 broadcast 172.18.64.100 netmask 255.255.255.255 up

  配置VIP到本地回环网卡lo上,并只广播自己 route add -host  172.18.64.100 lo:0

    配置本地回环网卡路由 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 

    只回答目标IP地址是来访网络接口本地地址的ARP查询请求 echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce 

    对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.

    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

###关闭arp应答

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应

2:必须避免将接口信息向非本网络进行通告 开启web、php-fpm、mysql服务

实现LVS持久连接

由于HTTP是一种无状态协议,每次请求完毕之后就立即断开了,当用户浏览购物网站挑选商品的时候,看到一件商品加入购物车,此过程被重定向到了REALSERVER1上面来,当把第二件商品加入购物车又被重定向到了REALSERVER2上面,最后结账的时候在REALSERVER2上面,只有一件商品,这显然是用户无法接受的,此时就需要一种持久连接机制,来把同一用户的HTTP请求在超时时间内都重定向到同一台REALSERVER,超时时间可以自己定义,比如说2个小时,在超时时间内服务器会不断追踪用户的访问请求,把某一用户的所有请求都转发到同一台REALSERVER上面

对于电子商务网站来说,用户在挑选商品的时候使用的是80端口来浏览的,当付款的时候则是通过443的ssl加密的方式,当然当用户挑选完商品付款的时候我们当然不希望https的443跳转到另外一台REALSERVER,很显然应该是同一REALSERVER才对,这时候就要用到基于防火墙标记的持久连接,通过定义端口的姻亲关系来实现

功能:无论ipvs使用何种scheduler,其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS;此功能是通过lvs持久连接模板实现,其与调度方法无关;

iptables -t mangle -A PREROUTING -d 172.18.64.100 -p tcp --dport 80 -j MARK --set-mark 99 #在iptables 打上标记,把80端口标记为99

iptables -t mangle -A PREROUTING -d 172.16.64.100 -p tcp --dport 443 -j MARK --set-mark 99 #在iptables打上标记,把443端口标记为99

ipvsadm -A -f 99 -s rr -p #在lvs上建立基于99号标记的虚拟服务

ipvsadm -a -f 99 -r 172.18.64.107 -g 

pvsadm -a -f 99 -r 172.18.64.17 -g  #设置后端服务地址

实现LVS健康状态监测功能

ldirectord用来实现LVS负载均衡资源在主、备节点间的故障转移。在首次启动时,ldirectord可以自动创建IPVS表。此外,它还可以监控各RealServer的运行状态,一旦发现某RealServer运行异常时,还可以将其从IPVS表中移除。

ldirectord:监控和控制LVS守护进程,可管理LVS规则

软件包名称:ldirectord-3.9.6-0rc1.1.1.x86_64.rpm

软件包组成:

  • /etc/ha.d/ldirectord.cf主配置文件
  • /usr/share/doc/ldirectord-3.9.6/ldirectord.cf配置模版
  • /usr/lib/systemd/system/ldirectord.service 服务
  • /usr/sbin/ldirectord 主程序
  • /var/log/ldirectord.log 日志
  • /var/run/ldirectord.ldirectord.pid pid文件

Ldirectord 配置文件详解

checktimeout=3 #超时时间 单位是秒

checkinterval=1 #检查频率

autoreload=yes # 此项用来定义ldirectord是否每隔一段时间检查此配置文件是否发生改变并自动重新加载;

logfile=“/var/log/ldirectord.log“ #日志文件

quiescent=no #down时yes权重为0,no为删除

virtual=172.18.64.7 #指定VS的FWM或IP:port

  real=172.16.0.7:80 gate 2

  real=172.16.0.8:80 gate 1

  fallback=127.0.0.1:80 gate   #sorry

  server service=http

  scheduler=wrr

checktype=negotiate #

ldirectord进程用于监控RealServer的方法

checkport=80 #检查端口

request="index.html" #检查页面

receive=“Test" #检查内容
View Code

补充

一键实现DR模型脚本:

RS端脚本:

#!/bin/bash
vip=192.168.0.100
mask='255.255.255.255‘
dev=lo:1
case $1 in
start)
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ifconfig $dev $vip netmask $mask broadcast $vip up
    route add   -host $vip dev $dev
    ;;
stop)
    ifconfig $dev down
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    ;;
*)
    echo "Usage: $(basename $0) start|stop"
    exit 1
    ;;
esac
View Code

Server端:

#!/bin/bash
vip='192.168.0.100'
iface='eth0:1'
mask='255.255.255.255'
port='80'
rs1='192.168.0.101'
rs2='192.168.0.102'
scheduler='wrr'
type='
-g'
case $1 in
start)
    ifconfig $iface $vip netmask $mask broadcast $vip up
    iptables  -F
    ipvsadm  -A   -t ${vip}:${port}   -s $scheduler
    ipvsadm  -a   -t ${vip}:${port}   -r ${rs1} $type  -w 1
    ipvsadm  -a   -t ${vip}:${port}   -r ${rs2} $type  -w 1
    ;;
stop)
    ipvsadm  -C   ifconfig $iface down
    ;;
*)
    echo "Usage $(basename $0) start|stop“;exit 1
    ;;
esac
View Code

 

posted @ 2017-11-21 17:43  黑夜繁星  阅读(1359)  评论(0编辑  收藏  举报
AmazingCounters.com