lvs搭建LB
一、LVS介绍
- 中国人发明的
1、工作模式
1、nat模式
- 网站服务器是私网的
2、DR模式
-
lvs服务器提供一个调度的功能
-
客户端发送个lvs服务器，然后将请求分发给后台服务器
-
然后后台服务器直接回应给客户端，不需要回复给lvs服务器了
-
如果是nat模式的话，传送的太频繁了
-
要求网站服务器也是公网ip
3、隧道模式
2、调度算法
二、LVS/nat模式集群搭建LB集群
-
服务器是内网的
-
lvs服务器有多个网卡，一个连接着外网，一个连接着服务器
1、规划
-
vmware上面做的话，都是仅主机模式完成
-
2台网站服务器，一个lvs服务器2个网卡，一个客户端
192.168.200. 是公网
192.168.100. 是私网
# 客户端ip地址为 192.168.200.62
# lvs公网ip地址为192.168.200.80，私网ip地址为192.168.100.80
# 网站服务器ip地址为 192.168.100.61 192.168.100.63
- 网站服务器内网的数据，想要出去的话，就需也就是配置网关,192.168.100.80
2、网站服务器和客户端网关配置
# 2台机器都需要配置
[root@httpd-63 ~]# route add default gw 192.168.100.80
# 这样的话,2个内网服务器就可以访问到192.168.200.80这个ip了
# 就可以访问到lvs的公网ip了，但是访问不到客户端的公网ip
-
lvs服务器需要开启路由转发功能，充当路由器的角色
-
因此的话，客户端需要配置网关，就能访问192.168.100.80了
[root@client network-scripts]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.200.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
[root@client network-scripts]# route add default gw 192.168.200.80
[root@client network-scripts]# ping 192.168.100.80
PING 192.168.100.80 (192.168.100.80) 56(84) bytes of data.
64 bytes from 192.168.100.80: icmp_seq=1 ttl=64 time=1.05 ms
64 bytes from 192.168.100.80: icmp_seq=2 ttl=64 time=0.222 ms
# 这样客户端就能访问到lvs的内网ip了
[root@client network-scripts]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.200.80 0.0.0.0 UG 0 0 0 ens33
192.168.200.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
-
客户端，发送不是本网段的数据包的时候，就会将数据包发送给192.168.200.80这个lvs机器
-
网站服务器也是一样的，不是本网段的数据包的话，就会发送到192.168.100.80这个lvs机器上面
-
但是了实现了上面的步骤后，还是客户端不能与网站服务器进行通信
-
因此，lvs服务器需要开启路由转发功能，传输2个不同网段的数据包的，启动内核模块
1、开启路lvs由转发功能
# 查看内核设置
[root@proxy ~]# sysctl -p
kernel.sysrq = 0
net.ipv4.ip_forward = 0 # 路由转发功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.tcp_syncookies = 1
kernel.dmesg_restrict = 1
net.ipv6.conf.all.accept_redirects = 0
net.ipv6.conf.default.accept_redirects = 0
[root@proxy ~]# vim /etc/sysctl.conf
kernel.sysrq=0
net.ipv4.ip_forward=1 # 改成1即可
[root@proxy ~]# sysctl -p
kernel.sysrq = 0
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
2、不同网段实现了通信
- 上面的情况，客户端可以不用配置网关，但是了，这样就不能实现通信了，但是后面配置了lvs配置后，依然可以访问到，因此用的是地址转换
[root@client /]# ping 192.168.100.61
PING 192.168.100.61 (192.168.100.61) 56(84) bytes of data.
64 bytes from 192.168.100.61: icmp_seq=1 ttl=63 time=0.914 ms
64 bytes from 192.168.100.61: icmp_seq=2 ttl=63 time=0.703 ms
[root@httpd-s61 ~]# ping 192.168.200.62
PING 192.168.200.62 (192.168.200.62) 56(84) bytes of data.
64 bytes from 192.168.200.62: icmp_seq=1 ttl=63 time=1.10 ms
64 bytes from 192.168.200.62: icmp_seq=2 ttl=63 time=0.519 ms
- 实验，一个nat模式的机器，2个仅主机模式的机器，然后配置网关，然后实现了仅主机模式上网，开启路由转发功能，dns服务器找nat模式
3、LVS的nat配置LB集群
- 访问192.168.200.80的时候，lvs将请求分发到61和632个机器上面
1、安装lvs软件
# lvs服务器安装ipvsadm软件
[root@proxy yum.repos.d]# yum -y install ipvsadm
# 显示当前的配置，L是列出，n是以数字显示地址和端口号
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
# 因为是新安装的，什么都没有配置
2、配置lvs
# 添加一个虚拟服务
# -A 是添加一个虚拟服务
# -t是tcp协议
# 地址lvs的访问地址
# -s 是算法为轮询的
[root@proxy ~]# ipvsadm -A -t 192.168.200.80:80 -s rr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.80:80 rr
# 为这个虚拟服务配置网站服务器
# -m是地址伪装，也就是nat
# 这些都是临时写入的，重启电脑的话，这些会消失掉
[root@proxy ~]# ipvsadm -a -t 192.168.200.80:80 -r 192.168.100.61:80 -m
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.80:80 rr
-> 192.168.100.61:80 Masq 1 0 0
# 添加真正的网站服务器
[root@proxy ~]# ipvsadm -a -t 192.168.200.80:80 -r 192.168.100.63:80 -m
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.80:80 rr
-> 192.168.100.61:80 Masq 1 0 0
-> 192.168.100.63:80 Masq 1 0 0
3、客户端测试
[root@client /]# curl 192.168.200.80
192.168.200.63
[root@client /]# curl 192.168.200.80
61
[root@client /]# curl 192.168.200.80
192.168.200.63
[root@client /]# curl 192.168.200.80
61
# 在这个实验环境下，gw是必须要配置的，保证了几个设备之间能够互相通信
4、永久保存配置
-
上面的命令是临时保存，因此的话，重启就会消失
-
保存在/etc/sysconfig/ipvsadm里面
-
需要注意的是，需要做域名解析，否则的话，下次重启，ip地址就会变成主机名了
[root@ipvs100 ~]# ipvsadm-save
-A -t ipvs100:http -s rr
-a -t ipvs100:http -r 192.168.100.61:http -m -w 1
-a -t ipvs100:http -r 192.168.100.63:http -m -w 1
# 需要做一个域名解析，这样的话，重启系统的时候，就知道ipvs100对应的哪一个ip地址
[root@ipvs100 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.200.80 ipvs100
[root@ipvs100 ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@ipvs100 ~]# cat /etc/sysconfig/ipvsadm
-A -t ipvs100:http -s rr
-a -t ipvs100:http -r 192.168.100.61:http -m -w 1
-a -t ipvs100:http -r 192.168.100.63:http -m -w 1
[root@ipvs100 ~]# systemctl enable ipvsadm
# 重启
reboot
# 查看策略
# 这样就永久保存了
[root@ipvs100 ~]# cat /etc/sysconfig/ipvsadm
-A -t 192.168.200.80:80 -s rr
-a -t 192.168.200.80:80 -r 192.168.100.61:80 -m -w 1
-a -t 192.168.200.80:80 -r 192.168.100.63:80 -m -w 1
# 重启服务的时候就会将这个文件里面的内容加载进去
4、nat模式工作过程
# 首先客户端192.168.200.62(源地址) 请求192.168.200.80(目的地址)
# 然后目的地址通过地址转换为192.168.100.61或者192.168.100.63
# 网站服务器回应一个请求，192.168.100.61为源地址，目标地址为192.168.200.62,lvs调度器将源地址修改为自己的vip，也就是192.168.200.80,从而实现与客户端的通信
# 一定要明确目标ip地址和源ip地址
1、nat模式缺点
-
lvs调度器有瓶颈，因为客户端和服务器都需要经过lvs调度器
-
数据包的进入和出去都需要经过这个lvs调度器才行
-
解决方法是客户端经过lvs调度器，然后服务器直接回复到客户端，不需要金经过lvs调度器了，使用的就是DR模式
2、查看字节数
[root@ipvs100 /]# ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts I
-> RemoteAddress:Port
TCP 192.168.200.80:80 25 123 72
-> 192.168.100.61:80 12 69 44
-> 192.168.100.63:80 13 54 28
[root@ipvs100 /]#
# 进来的字节数是客户端访问lvs产生的
# 出去的字节数是服务器回报lvs产生的
# 因此会收到这个调度器影响
三、lvs集群管理命令
1、修改调度算法
[root@ipvs100 sysconfig]# ipvsadm -E -t 192.168.200.80:80 -s wrr
2、清空所有策略
ipvsadm -C
# 然后保存才行，否则重启还是存在策略
ipvsadm-save > /etc/sysconfig/ipvsadm
3、删除一个虚拟服务
[root@ipvs100 sysconfig]# ipvsadm -D -t 192.168.200.80:80
4、删除一个realserver
# -d是删除realserver
# -t 是tcp协议
# 192.168.200.80:80 是虚拟服务
# -r 是轮询算法
# 192.168.100.61 是realserver
[root@ipvs100 sysconfig]# ipvsadm -d -t 192.168.200.80:80 -r 192.168.100.61\
[root@ipvs100 sysconfig]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.80:80 rr
-> 192.168.100.63:80 Masq 1 0 0
6、修改权重值
# -e 修改后端服务器的权重值
[root@ipvs100 sysconfig]# ipvsadm -e -t 192.168.200.80:80 -r 192.168.100.61 -m -w 3
四、lvs的DR模式搭建LB集群
1、lvsDR模式工作原理
-
服务器回应的给客户端的时候，不需要经过lvs调度器，直接回复到客户端
-
因此realserver 需要有vip，源ip直接转换为vip，发送到客户端
-
但是因此会产生一个问题，就是三个机器上面都有vip地址，因此客户端在发送请求时，需要2个网站服务器的vip不接受，只有lvs接收请求即可
-
lvs只负责分发请求
-
计算机的通信规则，访问的是100，回报的数据也的是100，如果是其他网段，不接收
-
需要解决的问题
-
让realserver 拥有vip地址
-
让realserver 不响应客户端访问vip地址的arp广播包
-
-
都是在同一个网段下的
2、实验前准备
# 2台网站服务器 100.61 100.63
# 一台lvs服务器 100.80 100.88
# 一台server端 100.62
# 都是在同一个网段下面的
# 因此的话lvs上面只需要一张网卡
# vip地址为192.168.100.88
# 防火墙和selinux都需要关掉
3、操作
- 解析
vip的问题
回包的时候需要vip地址
lo接口配置vip的问题
lo接口无法与客户端进行通信，因此的话，需要修改内核参数
# 因为lvs的DR工作模式为服务器直接返回给客户端，不需要通过lvs服务器
# 因此的话，就需要在server上面配置vip，但是配置了vip的话，就有3台机器能接受请求
# 因此vip配置在lo接口上面，就不会接收客户端访问vip的请求了
# 但是配置在lo接口上面，就无法与客户端进行通信了
# 因此开启内核模块 2 ，允许server上面的物理网卡帮lo转换到客户端，实现通信
# 内核 1 也解决了客户端访问vip地址时，需要的是访问的ip地址是本接口的真实ip地址，因此server上面的物理网卡不会帮lo接口接收客户端访问vip请求，因为地址不一样，vip地址与server上面的物理网卡地址不一样
# server上面的物理网卡地址帮lo进行收发流量，但是 内核 1 限制了访问vip的时候，地址需要一样
# 这样就实现了要求，既有server上面有vip地址，但是不会接受到客户端发送给vip的请求，然后server能通过物理网卡帮lo实现转发流量到客户端了
1、绑定vip地址和开启内核
[root@ipvs100 ~]# ifconfig ens36:1 192.168.100.88/32
[root@ipvs100 ~]# ifconfig ens36:1
ens36:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.88 netmask 0.0.0.0 broadcast 255.255.255.255
ether 00:0c:29:31:ee:e2 txqueuelen 1000 (Ethernet)
# 临时添加，重启失效
# server绑定vip
[root@httpd-63 /]# ifconfig lo:1 192.168.100.88/32
# 但是配置在lo接口上的话，还是无法与客户端上面的物理网卡进行通信
# 因此server上面可以让ens160帮忙转发lo接口的流量
# 修改内核参数
[root@httpd-61 conf]# pwd
/proc/sys/net/ipv4/conf
# 1就是目标ip在本接口上才能接收
# 2就是ens160帮lo接口收发流量
# 只有1和2协同工作才能实现，访问vip的时候，server上面的物理网卡不会帮lo接口收到流量，只有lvs服务器的物理接口才能收到这个流量
# server直接通过lo接口转发到自己物理网卡发送到客户端上面，实现了通信
# 因此lo接口只能与自己进行通信，不能与其他主机的物理网卡进行通信，但是有了2这个功能，自己的物理网卡能帮忙lo进行接收和转发流量
# 但同时开启了1接口，就保证了客户端访问vip的时候，不会被lo接口接收到
[root@httpd-61 conf]# ls
all default ens33 lo
[root@httpd-61 conf]# echo 1 > lo/arp_ignore
[root@httpd-61 conf]# echo 1 > all/arp_ignore
[root@httpd-61 conf]# echo 2 > lo/arp_announce
[root@httpd-61 conf]# echo 2 > all/arp_announce
2、ipvsadm配置
[root@ipvs100 ~]# ipvsadm -A -t 192.168.100.88:80 -s rr
[root@ipvs100 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.100.88:80 rr
# 创建server
# -g是路由模式，默认是nat模式
[root@ipvs100 ~]# ipvsadm -a -t 192.168.100.88:80 -r 192.168.100.61:80 -g
[root@ipvs100 ~]# ipvsadm -a -t 192.168.100.88:80 -r 192.168.100.63:80 -g
[root@ipvs100 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.100.88:80 rr
-> 192.168.100.61:80 Route 1 0 0
-> 192.168.100.63:80 Route 1 0 0
# 这样就配置好了
3、永久保存配置一样的操作
3、客户端测试
[root@client ~]# curl 192.168.100.88
192.168.200.63
[root@client ~]# curl 192.168.100.88
61
# 出去的包没有，只有进来的包
# 进来的包客户端请求lvs服务器
# 回来的包直接到客户端，没有到lvs服务器
# 因此的话，lvs只进行了分发
[root@ipvs100 ~]# ipvsadm -Ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 192.168.100.88:80 14 84 0 5572 0
-> 192.168.100.61:80 7 42 0 2786 0
-> 192.168.100.63:80 7 42 0 2786 0
4、lvs的DR模式总结
-
一般都是临时配置的vip，不会单独有一个物理网卡来配置vip
-
客户端发送请求到lvs服务器vip，然后进行调度算法到真实的服务器上面
-
真实的服务器接收到数据后，通过自己的vip地址直接发送给客户端，而不是通过lvs服务器回复的
-
这样的话，减少了数据包的传输路径，提高了性能
-
真实的服务器通过vip地址来回复客户端
客户端地址 192.168.100.81
lvs的vip地址 192.168.100.80 DIP 地址 192.168.100.88
server的地址 192.168.100.61 62
# 客户端发送一个请求到lvs的vip上面，此时源地址为 81 目标地址为 80
# lvs通过调度算法将目标地址mac改为 61或者62，目标ip地址不变(vip)
# 然后通过dip接口出去访问到真实的服务器上面，而不是从vip接口出去(从这里面出去，目标mac就是vip,而不是真实的服务器)
# 到达了真实的服务器后，发现目标ip为自己的本地的vip，因此响应为，源地址为vip,目标地址为客户端地址，客户端的地址一直没有变化
# 变化的只是mac地址
-
没有健康检查服务，就是停掉一个网站服务的话，分发请求仍然会发送到故障的服务器上面的
浙公网安备 33010602011771号