LVS –负载均衡基础

一 负载均衡的五种解决方案

1 http重定向

HTTP重定向就是应用层的请求转发。用户的请求其实已经到了http重定向负载均衡服务器，服务器根据算法要求用户重定向，用户收到重定向请求后，再次请求真正的集群。

优点：简单

缺点：性能较差

2 DNS域名解析负载均衡

DNS域名解析负载均衡就是在用户请求DNS服务器，获取域名对应的IP地址时，DNS根据服务器直接给出负载均衡后的服务器IP。

优点：交给DNS，不用我们去维护负载均衡服务器

缺点：当一个服务器挂了，不能及时通知DNS，而且DNS负载均衡的控制权在域名服务商那里，网站无法做出更多的改善和更强大的管理

3 方向代理服务器

在用户的请求到达反向代理服务器时（已经到达网站机房），有反向代理服务器根据算法转发到具体的服务器。常用的有Apache、Nginx都可以充当方向代理服务器。

优点：部署简单

缺点：代理服务器可能成为性能瓶颈，特别是一次上传大文件

4 IP层负载均衡

在请求到达负载均衡器后，负载均衡器通过修改请求的IP地址，从而实现请求的转发，做的负载均衡。

优点：性能更好

缺点：负载均衡器的带宽成为瓶颈

5 数据链路层负载均衡

在请求到达负载均衡器后，负载均衡器通过修改请求的Mac地址，从而做到负载均衡，与IP负载均衡不一样的是，当请求访问完服务器后，直接返回给用户。而无需再经过负载均衡器。

 

二 集群调度算法

1.静态算法

只根据算法进行调度 而不考虑后端服务器的实际连接情况和负载情况

（1）rr 轮询调度算法

顾名思义，就是轮询分发请求

优点：实现简单

缺点：不考虑每台服务器的处理能力

（2） wrr 加权轮询调度算法

我们给每个服务器设置权值（weight），负载均衡调度器根据权值调度服务器，服务器被调用的次数跟权值成正比。

优点：考虑了服务器处理能力不同

缺点：

（3）sh 原地址散列

提取用户IP，根据散列函数得出一个key，再根据静态映射表，查处对应的value，既目标服务器IP。过目标机器负荷，则返回空。

（4） dh 目标地址散列（Destination Hash）

根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

2 动态算法

前端的调度器会根据后端真实服务器的实际连接情况来分配请求

（1）LC：最少链接（Least Connections）

优先把请求转发给连接数最少的服务器。

优点：使得集群中各个服务器负载更加均匀

（2）WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）

在LC的基础上，为每台服务器加上权值，算法为：（活动连接数 * 256 + 非活动连接数）/ 权值。计算出来值小的服务器优先被选择。

优点：可根据服务器 的能力分配请求

（3）SED：最短延迟调度（Shortest Expected Delay ）

在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，却别是不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。算法为：（活动连接数 + 1 ）* 256 / 权值，同样计算出来的值小的服务器优先被选择。

（4）NQ永不排队/最少队列调度（Never Queue Scheduling NQ）

改进的SED算法，就是某个服务器连接数为零时，均衡器直接把请求转发给它，无需经过SED的计算。

（5）LBLC：基于局部性的最少链接（locality-Based Least Connections）

基于局部性的最少链接调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统｡该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器，若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用最少链接的原则选出一个可用的服务器，将请求发送到该服务器｡

（6）LBLCR：带复制的基于局部性最少连接（Locality-Based Least Connections with Replication）

均衡器根据请求的目的IP地址，找出该IP 地址最近使用的”服务器组”，注意，并不是某个服务器，然后采用最少连接数从给组中挑出具体的某台服务器出来，把请求转发之。若服务器超载，那么根据最少连接数算法，在集群的非本”服务器组”的服务器中，找出一台服务器来，加入本服务器组，然后把请求转发之。

 

三 lvs集群的类型

lvs-nat：修改请求报文的目标IP；多目标IP的DNAT；

lvs-dr：操纵封装新的MAC地址；

lvs-tun：在原请求IP报文之外新加一个IP首部；

lvs-fullnat：修改请求报文的源和目标IP；

1 lvs-nat

负载均衡器接受用户的请求，转发给具体服务器，服务器出来完请求后返回给负载均衡器，均衡器再重新返回给用户。多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；

（1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；

（2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；

（3）支持端口映射，可修改请求报文的目标PORT；

（4）vs必须是Linux系统，rs可以是任意系统；

2 lvs-dr

负载均衡器接收用户请求，转发给具体服务器，服务器处理完成后直接返回给用户。需要支持IP Tunneling 协议，难以夸平台。通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；

通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；

Director和各RS都得配置使用VIP；

（1）确保前端路由器将目标IP为VIP的请求报文发往Director：

(a) 在前端网关做静态绑定；

(b) 在RS上使用arptables；

(c) 在RS上修改内核参数以限制arp通告及应答级别；

arp_announce

arp_ignore

（2）RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；

（3）RS跟Director要在同一个物理网络；

（4）请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；

（5）不支持端口映射；

3 lvs-tun

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）；

（1）DIP, VIP, RIP都应该是公网地址；

（2）RS的网关不能，也不可能指向DIP；

（3）请求报文要经由Director，但响应不能经由Director；

（4） 不支持端口映射；

（5） RS的OS得支持隧道功能；

4 lvs-fullnat

通过同时修改请求报文的源IP地址和目标IP地址进行转发；

（1）VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；

（2）RS收到的请求报文源地址是DIP，因此，只能响应给DIP；但Director还要将其发往Client；

（3）请求和响应报文都经由Director；

（4）支持端口映射；

注意：此类型默认不支持；

 

二、LVS的基本工作原理

1. 当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间
2. PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
3. IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链
4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

 

三、LVS的组成

LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。

1. ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码。
2. ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)

 

四、LVS相关术语

1. DS：Director Server。指的是前端负载均衡器节点。
2. RS：Real Server。后端真实的工作服务器。
3. VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
4. DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
5. RIP：Real Server IP，后端服务器的IP地址。
6. CIP：Client IP，访问客户端的IP地址。

下边是三种工作模式的原理和特点总结。

 

五、LVS/NAT原理和特点

1. 重点理解NAT方式的实现原理和数据包的改变。

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP
(d). POSTROUTING链通过选路，将数据包发送给Real Server
(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP
(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

2. LVS-NAT模型的特性

• RS应该使用私有地址，RS的网关必须指向DIP
• DIP和RIP必须在同一个网段内
• 请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈
• 支持端口映射
• RS可以使用任意操作系统
• 缺陷：对Director Server压力会比较大，请求和响应都需经过director server

 

六、LVS/DR原理和特点

1. 重将请求报文的目标MAC地址设定为挑选出的RS的MAC地址

 

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP
(f) 响应报文最终送达至客户端

2. LVS-DR模型的特性

• 特点1：保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS
• RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
• RS跟Director Server必须在同一个物理网络中
• 所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
• 不支持地址转换，也不支持端口映射
• RS可以是大多数常见的操作系统
• RS的网关绝不允许指向DIP(因为我们不允许他经过director)
• RS上的lo接口配置VIP的IP地址
• 缺陷：RS和DS必须在同一机房中

3. 特点1的解决方案：

• 在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server
• 存在问题：用户未必有路由操作权限，因为有可能是运营商提供的，所以这个方法未必实用
• arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的
• 修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

 

七、LVS/Tun原理和特点

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP
(d) POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP
(e) RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP
(f) 响应报文最终送达至客户端

LVS-Tun模型特性

• RIP、VIP、DIP全是公网地址
• RS的网关不会也不可能指向DIP
• 所有的请求报文经由Director Server，但响应报文必须不能进过Director Server
• 不支持端口映射
• RS的系统必须支持隧道

其实企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便，后边实践中会总结 DR 和 NAT 具体使用配置过程。