mycat负载均衡集群

1. haproxy负载均衡搭建与介绍

在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。然而，我们的网站对外提供的访问入口都是一个的，比如 www.taobao.com。那么当用户在浏览器输入 www.taobao.com 的时候如何将用户的请求分发到集群中不同的机器上呢，这就是负载均衡在做的事情。

当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是 Web 应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等。在实际应用中，在 Web 服务器集群之前总会有一台负载均衡服务器，负载均衡设备的任务就是作为 Web 服务器流量的入口，挑选最合适的一台 Web 服务器，将客户端的请求转发给它处理，实现客户端到真实服务端的透明转发。

最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的是后端的集群。

1.2 负载均衡分类

现在我们知道，负载均衡就是一种计算机网络技术，用来在多个计算机（计算机集群）、网络连接、CPU、磁碟驱动器或其它资源中分配负载，以达到最佳化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。那么，这种计算机技术的实现方式有多种。

大致可以分为以下几种，其中最常用的是四层和七层负载均衡：

二层负载均衡

负载均衡服务器对外依然提供一个 VIP（虚IP），集群中不同的机器采用相同 IP地址，但机器的 MAC 地址不一样。当负载均衡服务器接受到请求之后，通过改写报文的目标 MAC 地址的方式将请求转发到目标机器实现负载均衡。

三层负载均衡

和二层负载均衡类似，负载均衡服务器对外依然提供一个 VIP（虚IP），但集群中不同的机器采用不同的 IP 地址。当负载均衡服务器接受到请求之后，根据不同的负载均衡算法，通过 IP 将请求转发至不同的真实服务器。

四层负载均衡

四层负载均衡工作在 OSI 模型的传输层，由于在传输层，只有 TCP/UDP 协议，这两种协议中除了包含源 IP、目标 IP 以外，还包含源端口号及目的端口号。四层负载均衡服务器在接受到客户端请求后，以后通过修改数据包的地址信息（ IP+端口号）将流量转发到应用服务器。

七层负载均衡

七层负载均衡工作在 OSI 模型的应用层，应用层协议较多，常用 HTTP、Radius、DNS 等。七层负载就可以基于这些协议来负载。这些应用层协议中会包含很多有意义的内容。比如同一个 Web 服务器的负载均衡，除了根据 IP 加端口进行负载外，还可根据七层的 URL、浏览器类别、语言来决定是否要进行负载均衡。

1.3 haproxy介绍

HAProxy 是一个使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于 TCP 和 HTTP 的应用程序代理。

HAProxy 特别适用于那些负载特大的 web 站点，这些站点通常又需要会话保持或七层处理。

HAProxy 运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的 web 服务器不被暴露到网络上。

HAProxy 实现了一种事件驱动，单一进程模型，此模型支持非常大的并发连接数。多进程或多线程模型受内存限制、系统调度器限制以及无处不在的锁限制，很少能处理数千并发连接。事件驱动模型因为在有更好的资源和时间管理的用户空间 (User-Space) 实现所有这些任务，所以没有这些问题。此模型的弊 mycat集群.md to mycat集群.pdf by MARKDOWN-THEMEABLE-PDF Page 2/6 © Copyright Wednesday, May 27, 2020, 4:28 PM by COMPANYNAME 端是，在多核系统上，这些程序通常扩展性较差。这就是为什么他们必须进行优化以使每个 CPU 时间片 Cycle 做更多的工作。

相较与 Nginx，HAProxy 更专注与反向代理，因此它可以支持更多的选项，更精细的控制，更多的健康状态检测机制和负载均衡算法。

包括 GitHub、Bitbucket、Stack Overflow、Reddit、Tumblr、Twitter 和 Tuenti 在内的知名网站，及亚马逊网络服务系统都使用了 HAProxy。

Haproxy的特性：

1. 可靠性与稳定性都非常出色，可与硬件级设备媲美。

2. 支持连接拒绝，可以用于防止 DDoS 攻击

3. 支持长连接、短连接和日志功能，可根据需要灵活配置

4. 路由 HTTP 请求到后端服务器,基于 cookie 作会话绑定；同时支持通过获取指定的 url 来检测后端服务器的状态

5. HAProxy 还拥有功能强大的 ACL 支持，可灵活配置路由功能，实现动静分离，在架构设计与实现上带来很大方便

6. 可支持四层和七层负载均衡，几乎能为所有服务常见的提供负载均衡功能

7. 拥有功能强大的后端服务器的状态监控 web 页面，可以实时了解设备的运行状态，还可实现设备上下线等简单操作。

8. 支持多种负载均衡调度算法，并且也支持 session 保持。

9. Haproxy 七层负载均衡模式下，负载均衡与客户端及后端的服务器会分别建立一次 TCP连接，而在四层负载均衡模式下(DR)，仅建立一次 TCP 连接；七层负载均衡对负载均衡设备的要求更高，处理能力也低于四层负载均衡

1.4 haproxy配置文件

1.4.1 配置文件结构

haproxy 的配置文件由两部分组成： 1. 全局设定（global settings） 2. 对代理的设定（proxies）

全局设定

global settings：主要用于定义 haproxy 进程管理安全及性能相关的参数

代理设定

proxies 共分为4段：defaults，frontend，backend，listen

proxies：代理相关的配置可以有如下几个配置端组成

defaults：为除了 global 以外的其它配置段提供默认参数，默认配置参数可由下一个 “defaults” 重新设定。

frontend：定义一系列监听的套接字，这些套接字可接受客户端请求并与之建立连接。

backend：定义 “后端” 服务器，前端代理服务器将会把客户端的请求调度至这些服务器。

listen：定义监听的套接字和后端的服务器。类似于将 frontend 和 backend 段放在一起

所有代理的名称只能使用大写字母、小写字母、数字、-(中线)、_(下划线)、.(点号)和:(冒号)。此外，ACL 名称会区分字母大小写。

1.4.2 配置文件详细介绍

注意：此处只做配置文件介绍，不做为后期负载均衡配置

global
log 127.0.0.1 local0 # 定义全局的 syslog 服务器，最多可定义2个,格式：log <address> <facility>
[max level [min level]]
chroot /var/lib/haproxy # 修改 haproxy 的工作目录至指定的目录并在放弃权限之前执行，保证haproxy的安
全,使用配置文件默认值即可
pidfile /var/run/haproxy.pid
maxconn 10000 # 设定每个haproxy进程所接受的最大并发连接数，其等同于命令行选项“-
n”；“ulimit -n”自动计算的结果正是参照此参数设定的；
user haproxy # 以指定的 user 运行haproxy，建议使用专用于运行 haproxy 的 user, 以免因权
限问题带来风险；
group haproxy # 以指定的 group 运行haproxy，建议使用专用于运行 haproxy 的 group， 以免因
权限问题带来风险；
daemon # 让 haproxy 以守护进程的方式工作于后台，其等同于 “-D” 选项的功能， 当然，
也可以在命令行中以 “-db” 选项将其禁用；
ulimit-n 100000 # 设定每进程所能够打开的最大文件描述符数目，默认情况下其会自动进行计算，因
此不推荐修改此选项；Linux默认单进程打开文件数为1024个
stats socket /var/lib/haproxy/stats level admin process 1 # 开启一个 socket 管理接口
nbproc 12 # 指定启动的 haproxy 进程个数，只能用于守护进程模式的 haproxy；默认只启动
一个进程，
cpu-map 1 0 # 绑定 cpu,和 nbproc 数量相对。进程号从1开始，cpu 核数从0开始；
cpu-map 2 1
cpu-map 3 2
cpu-map 4 3
cpu-map 5 4
cpu-map 6 5
cpu-map 7 6
cpu-map 8 7
cpu-map 9 8
cpu-map 10 9
cpu-map 11 10
cpu-map 12 11
defaults
log global
option tcplog # 启用日志记录；tcplog 请求；
option dontlognull # 日志中将不会记录空连接；
retries 3 # 定义连接后端服务器的失败重连次数
timeout connect 2s # 定义 haproxy 将客户端请求转发至后端服务器所等待的超时时长
timeout client 3600s # 客户端非活动状态的超时时长
timeout server 3600s # 客户端与服务器端建立连接后，等待服务器端的超时时长
maxconn 10000 # 默认和前段的最大连接数，但不能超过 global 中的 maxconn 限制数
listen admin_stats # 开启一个统计报告服务
bind *:1080 # 监听1080端口
mode http # 基于http协议
maxconn 10
stats refresh 10s # 统计页面自动刷新时间间隔
stats uri /haproxy # url 地址
stats realm Haproxy # 统计页面密码框上提示文本
stats auth admin:admin # 账号：密码
stats hide-version # 隐藏统计报告版本信息
stats admin if TRUE # 在制定条件下开启admin 功能
frontend haproxy # 前端应用
bind *:40000 # 端口
mode tcp # tcp 模式
default_backend tidb # 此前端对应的后端应用
backend tidb # 后端应用
balance leastconn # balance 基于最少连接数
mode tcp # tcp 模式
# acl internal_networks src 192.168.0.0/16 172.16.0.0/12 10.0.0.0/8 127.0.0.1 定义一条ACL，ACL是根据数据包的指定属性以指定表达式计算
出的true/false值。
# tcp-request content reject if ! internal_networks
# option mysql-check user haproxy post-41
server tidb1 10.0.1.4:4000 check # 后端应用地址，代理将会将对应客户端的请求转发至这些服务器。
server tidb2 10.0.1.10:4000 check

2. mycat负载均衡集群

服务器名称	ip	操作系统	安装服务
Mysql-Master	192.168.31.23	Centos7.4	mysql,mycat
Mysql-Master1	192.168.31.24	Centos7.4	mysql,mycat
负载均衡服务器	192.168.31.22	Centos7.4	haproxy

2.1 haproxy安装与环境配置

在192.168.31.22(负载均衡服务器)中安装与配置如下：

yum install haproxy -y

2. 配置haproxy配置文件，目录：/etc/haproxy/haproxy.cfg

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend  app
    bind 0.0.0.0:8066
    #bind 0.0.0.0:9066
    mode tcp
    log global
    option forwardfor
    option tcplog
    default_backend app

#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------


#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
    mode tcp
    balance     roundrobin
    server mycat2 192.168.31.24:8066 check inter 1s rise 2 fall 2
    server mycat1 192.168.31.23:8066 check inter 1s rise 2 fall 2

listen stats
    mode http
    bind 0.0.0.0:1080
    stats enable
    stats refresh 5s
    stats hide-version
    stats uri /haproxyadmin?stats
    stats realm Haproxy\ Statistics
    stats auth admin:admin
    stats admin if TRUE

3. 启动haproxy负载均衡

haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl restart haproxy
systemctl status haproxy
#将haproxy添加到开机自动启动
systemctl enable haproxy

访问10.0.0.12:8888/proxy,看到以下页面，输入配置的用户名和密码

至此，HAproxy服务搭建完毕

posted @ 2022-11-08 23:57 来碗酒喝阅读(154) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

来碗酒喝

mycat负载均衡集群

公告