LVS(Linux Viretual Server) 负载均衡器 + 后端服务器

 ##定义:
  LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。

##结构:
 一般来说,LVS集群采用三层结构,其主要组成部分为:
  A、负载调度器(load balancer),它是整个集群对外面的前端机,负责将客户的请求发送到一组服务器上执行,而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。
  B、服务器池(server pool),是一组真正执行客户请求的服务器,执行的服务有WEB、MAIL、FTP和DNS等。
  C、共享存储(shared storage),它为服务器池提供一个共享的存储区,这样很容易使得服务器池拥有相同的内容,提供相同的服务。

##模式:
  LVS-NAT: 基于NAT(网络地址转换)技术,网络数据流程如下:
      1)负载均衡器在收到客户端请求后,改写目的IP地址为后端服务器真是IP和/或端口号,转发给后端服务器。
      2)后端服务器处理完成后,回复给负载均衡器。
      3)负载均衡器改写源IP为虚拟IP,发送给客户端
  LVS-DR:
      1)请求经过负载均衡器调度后,后端服务器的相应数据流量直接返回给客户端,回包不经过负载均衡器。
  LVS-Tun:
      1)LVS-Tun是LVS原创的一种转发模式,基于LVS-DR。负载均衡器LVS代码把原始的包(源客户端IP到虚拟IP)封装成ipip包,目的地址是后端服务器的真实IP,然后进入OUTPUT链,并路由到后端服务器。后端服务器解封ipip包并处理,以源地址虚拟IP、目的地址客户端IP直接回复给客户端。

##对比与推荐:
  1)从对后端服务器的要求来看,LVS-NAT仅仅要求后端服务器网关指向负载均衡器的内网地址,无任何其他要求;LVS-DR模式要求后端服务器禁用对虚拟IP的ARP响应,后端服务器网关不指向负载均衡器;LVS-Tun要求后端服务支持ipip解包,部分操作系统不支持。
  2)从吞吐量上来看,LVS-DR最高,LVS-NAT最低。
  3)从配置简便性来看,LVS-NAT最低,LVS-DR和LVS-Tun较为复杂。
  推荐在应用中使用LVS-DR模式,也是目前云微架构中应用最多的4层开源负载均衡转发策略。


##使用场景:
  单个LVS集群:
    1)使用协议为vrrp协议进行组播通信,使用前建议关闭,否则则会出现脑裂现象。
    2)对后端健康检查可以使用TCP Connect或者HTTP GET,在网站类应用负载均衡方案中,推荐使用HTTP GET,可以进行应用层检查,防止出现端口存在但无法提供业务的情况。Keepalived配置文件中digest的获取,使用该软件自带的genhash工具,genhash --help
    3)重要参数
    LVS转发行为重要参数:expire_nodest_conn expire_quiescent_template
    LVS同步状态重要参数:sync_threshold
    4)LVS-DR模式的核心提示与优化
      - LVS-DR模式,因后端服务器上同样配置了虚拟IP,如果在客户端进行ARP请求的时候,后端服务器以自身的MAC地址进行了回复,则起不到负载均衡的效果,此时客户端直接连接到了某台后端服务器上。
      - 后端服务器的虚拟IP必须绑定到lo:0上,同时指定子网掩码是255.255.255.255,否则ARP禁用会出现异常。
      - 持久连接的问题。持久连接使同一个客户端在超时时间内(ipvsadm -p 参数指定,Keepalived中的persistence_timeout指令)会持续地连接到同一台后端服务器,这个是 4层上的持久连接。来自客户端的每个新的连接会重置该超时时间。
      - Keepalived对后端服务器的健康检查,推荐使用应用层检查方式,另外可以配置Keepalived使用管理员自定义的脚本进行健康检查(MISC CHECK指令)。
      - 负载均衡器之间使用vrrp协议进行高可用设置时,禁用iptables或firewalld或者打开对vrrp协议的支持。
      - LVS集群中的负载均衡器,推荐使用16GB及以上内存,同时采用多队列网卡提高网卡吞吐量减少处理延时。
      - LVS集群中的后端服务器,根据IO密集型和CPU密集型2类,可以分别使用RAID10、SSD及高频多核CPU来优化。

  多组LVS设定和注意事项:
    1)虚拟路由器的ID,在相同组的LVS集群里面,必须设置为一致;不同组LVS集群里面必须不同。
     2)优先级,对应state为MASTER的设置值必须比对应的state为BACKUP的设置值高。
     3)虚拟IP地址,不同组LVS集群不同
     4)同一组LVS里面的认证的密钥必须相同,不同组建议采用不同值。
    在运维业务中,曾经发生过因新上的LVS集群采用了和原LVS集群里面虚拟路由器相同ID并且处于同一个网段导致原业务出现故障的问题。

  可用性监控:
    1)LVS可用性监控方面:通常是对LVS的虚拟IP提供的服务进行监控,同时对所有后端服务器进行可用性监控。应为LVS可以对后端服务器进行健康检查,那么后端服务器的不可用虽然会被LVS从服务器吃中剔除不影响客户端,但这个情况应该被系统管理员所获知,以便进行根本原因分析,并且评估其他后端服务器的压力情况。
    2)在监控层次方面:尽量采用应用层检查的方式,如Nagios自带的check_http插件,Zabbix的Web Scenarios
  
LVS排错步骤推荐:
    1)ping负载均衡器的真实IP和虚拟IP。判断网络连通性.
    2)在负载均衡器上,检查负载君合器和后端服务器的状态
    3)如LVS集群中有多台后端服务器,分别绑定hosts进行测试每一台后端服务器,确保服务正常。
    4)检查后端服务器的Arp设置是否有效
    5)检查后端服务器上的虚拟IP绑定是否成功。
    6)主从负载均衡器切换故障时,需要首先在交换机上确认其学习到的虚拟IP的MAC地址是否被更新成了从的MAC地址。

  












posted @ 2018-05-31 12:30  Done、  阅读(687)  评论(0编辑  收藏  举报