haproxy做TCP层的负载均衡

最新项目中发现，大量游戏玩家访问登录服务器时出现延迟，导致玩家无法登录，愿意可能是登录服务器性能达到极限。

所以目前想通过proxy的方式访问登录服务器集群，避免登录延迟。

 

 

1.下载haproxy最新版本

 

http://www.haproxy.org/download/1.5/src/haproxy-1.5.12.tar.gz

 

2.安装haproxy软件

   tar zxvf haproxy-1.5.12.tar.gz

   cd haproxy-1.5.12

　　uname -a    //查看linux内核版本, TARGET是内核版本，2.6就写作26

　　make TARGET=linux26 PREFIX=/usr/local/haproxy

　　make install PREFIX=/usr/local/haproxy

 

3.配置haproxy

mkdir /etc/haproxy/conf

vim /etc/haproxy/conf/haproxy.cfg

 

 

[cpp] view plain copy
 
  1. <span style="color:#505050;">###########全局配置#########  
  2. global  
  3. chroot /usr/local/haproxy  
  4. daemon  
  5. nbproc 1  
  6. group nobody  
  7. user nobody  
  8. pidfile /opt/haproxy/logs/haproxy.pid  
  9. ulimit-n 65536  
  10. #spread-checks 5m   
  11. #stats timeout 5m  
  12. #stats maxconn 100  
  13.   
  14. ########默认配置############  
  15. defaults  
  16. mode tcp               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK  
  17. retries 3              #两次连接失败就认为是服务器不可用，也可以通过后面设置  
  18. option redispatch      #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器  
  19. option abortonclose    #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接  
  20. maxconn 32000          #默认的最大连接数  
  21. timeout connect 5000ms #连接超时  
  22. timeout client 30000ms #客户端超时  
  23. timeout server 30000ms #服务器超时  
  24. #timeout check 2000    #心跳检测超时  
  25. log 127.0.0.1 local0 err #[err warning info debug]  
  26.    
  27. ########test1配置#################  
  28. listen test1  
  29. bind 0.0.0.0:8008  
  30. mode tcp  
  31. balance roundrobin  
  32. server s1 127.0.0.1:8010 weight 1 maxconn 10000 check inter 10s  
  33. server s2 127.0.0.1:8011 weight 1 maxconn 10000 check inter 10s  
  34. server s3 127.0.0.1:8012 weight 1 maxconn 10000 check inter 10s  
  35.    
  36. ########test2配置#################  
  37. listen test2  
  38. bind 0.0.0.0:8007  
  39. mode tcp  
  40. balance roundrobin  
  41. server s1 192.168.1.88:8010 weight 1 maxconn 10000 check inter 10s  
  42. server s2 192.168.1.88:8011 weight 1 maxconn 10000 check inter 10s  
  43. ########统计页面配置########  
  44. listen admin_stats  
  45. bind 0.0.0.0:8099 #监听端口  
  46. mode http         #http的7层模式  
  47. option httplog    #采用http日志格式  
  48. #log 127.0.0.1 local0 err  
  49. maxconn 10  
  50. stats refresh 30s #统计页面自动刷新时间  
  51. stats uri /stats  #</span><span style="color:#ff0000;"><strong>统计页面url:port/stats</strong></span><pre name="code" class="cpp" style="color: rgb(80, 80, 80); font-size: 14px; line-height: 28px;"><span style="font-family: 宋体, 'Arial Narrow', arial, serif;">stats realm XingCloud\ Haproxy #统计页面密码框上提示文本</span>  

stats auth admin:admin #统计页面用户名和密码设置stats hide-version #隐藏统计页面上HAProxy的版本信息



 


 


4.配置启动脚本


vim /usr/local/haproxy/sbin/haproxy.sh


#!/bin/sh
cd /usr/local/haproxy/sbin
/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/conf/haproxy.cfg &


 


5.查看启动进程


ps -ef |grep haproxy  或者netstat -ntpl |grep haproxy  来检查haproxy是否启动成功！


 


 


###############################################################


 


配置详解


 


 






[cpp] view plain copy

 










    

  1. ####################全局配置信息########################   
    2. 

  2. #######参数是进程级的,通常和操作系统（OS）相关#########   
    3. 

  3. global   
    4. 

  4.        maxconn 20480                   #默认最大连接数   
    5. 

  5.        log 127.0.0.1 local3            #[err warning info debug]   
    6. 

  6.        chroot /var/haproxy             #chroot运行的路径   
    7. 

  7.        uid 99                          #所属运行的用户uid   
    8. 

  8.        gid 99                          #所属运行的用户组   
    9. 

  9.        daemon                          #以后台形式运行haproxy   
    10. 

  10.        nbproc 1                        #进程数量(可以设置多个进程提高性能)   
    11. 

  11.        pidfile /var/run/haproxy.pid    #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件   
    12. 

  12.        ulimit-n 65535                  #ulimit的数量限制   
    13. 

  13.    
    14. 

  14.    
    15. 

  15. #####################默认的全局设置######################   
    16. 

  16. ##这些参数可以被利用配置到frontend,backend,listen组件##   
    17. 

  17. defaults   
    18. 

  18.        log global   
    19. 

  19.        mode http                       #所处理的类别 (#7层 http;4层tcp  )   
    20. 

  20.        maxconn 20480                   #最大连接数   
    21. 

  21.        option httplog                  #日志类别http日志格式   
    22. 

  22.        option httpclose                #每次请求完毕后主动关闭http通道   
    23. 

  23.        option dontlognull              #不记录健康检查的日志信息   
    24. 

  24.        option forwardfor               #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip    
    25. 

  25.        option redispatch               #serverId对应的服务器挂掉后,强制定向到其他健康的服务器    
    26. 

  26.        option abortonclose             #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接   
    27. 

  27.        stats refresh 30                #统计页面刷新间隔   
    28. 

  28.        retries 3                       #3次连接失败就认为服务不可用,也可以通过后面设置   
    29. 

  29.        balance roundrobin              #默认的负载均衡的方式,轮询方式   
    30. 

  30.       #balance source                  #默认的负载均衡的方式,类似nginx的ip_hash   
    31. 

  31.       #balance leastconn               #默认的负载均衡的方式,最小连接   
    32. 

  32.        contimeout 5000                 #连接超时   
    33. 

  33.        clitimeout 50000                #客户端超时   
    34. 

  34.        srvtimeout 50000                #服务器超时   
    35. 

  35.        timeout check 2000              #心跳检测超时   
    36. 

  36.    
    37. 

  37. ####################监控页面的设置#######################   
    38. 

  38. listen admin_status                    #Frontend和Backend的组合体,监控组的名称,按需自定义名称   
    39. 

  39.         bind 0.0.0.0:65532             #监听端口   
    40. 

  40.         mode http                      #http的7层模式   
    41. 

  41.         log 127.0.0.1 local3 err       #错误日志记录   
    42. 

  42.         stats refresh 5s               #每隔5秒自动刷新监控页面   
    43. 

  43.         stats uri /admin?stats         #监控页面的url   
    44. 

  44.         stats realm itnihao\ itnihao   #监控页面的提示信息   
    45. 

  45.         stats auth admin:admin         #监控页面的用户和密码admin,可以设置多个用户名   
    46. 

  46.         stats auth admin1:admin1       #监控页面的用户和密码admin1   
    47. 

  47.         stats hide-version             #隐藏统计页面上的HAproxy版本信息    
    48. 

  48.         stats admin if TRUE            #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)   
    49. 

  49.    
    50. 

  50.    
    51. 

  51.        errorfile 403 /etc/haproxy/errorfiles/403.http   
    52. 

  52.        errorfile 500 /etc/haproxy/errorfiles/500.http   
    53. 

  53.        errorfile 502 /etc/haproxy/errorfiles/502.http   
    54. 

  54.        errorfile 503 /etc/haproxy/errorfiles/503.http   
    55. 

  55.        errorfile 504 /etc/haproxy/errorfiles/504.http   
    56. 

  56.    
    57. 

  57.        #################HAProxy的日志记录内容设置###################   
    58. 

  58.        capture request  header Host           len 40   
    59. 

  59.        capture request  header Content-Length len 10   
    60. 

  60.        capture request  header Referer        len 200   
    61. 

  61.        capture response header Server         len 40   
    62. 

  62.        capture response header Content-Length len 10   
    63. 

  63.        capture response header Cache-Control  len 8   
    64. 

  64.        
    65. 

  65. #######################网站监测listen配置#####################   
    66. 

  66. ###########此用法主要是监控haproxy后端服务器的监控状态############   
    67. 

  67. listen site_status   
    68. 

  68.        bind 0.0.0.0:1081                    #监听端口   
    69. 

  69.        mode http                            #http的7层模式   
    70. 

  70.        log 127.0.0.1 local3 err             #[err warning info debug]   
    71. 

  71.        monitor-uri /site_status             #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503   
    72. 

  72.        acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true   
    73. 

  73.        acl site_dead nbsrv(server_blog) lt 2   
    74. 

  74.        acl site_dead nbsrv(server_bbs)  lt 2    
    75. 

  75.        monitor fail if site_dead            #当满足策略的时候返回503,网上文档说的是500,实际测试为503   
    76. 

  76.        monitor-net 192.168.16.2/32          #来自192.168.16.2的日志信息不会被记录和转发   
    77. 

  77.        monitor-net 192.168.16.3/32   
    78. 

  78.    
    79. 

  79. ########frontend配置############   
    80. 

  80. #####注意,frontend配置里面可以定义多个acl进行匹配操作########   
    81. 

  81. frontend http_80_in   
    82. 

  82.        bind 0.0.0.0:80      #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似   
    83. 

  83.        mode http            #http的7层模式   
    84. 

  84.        log global           #应用全局的日志配置   
    85. 

  85.        option httplog       #启用http的log   
    86. 

  86.        option httpclose     #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式   
    87. 

  87.        option forwardfor    #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP   
    88. 

  88.        ########acl策略配置#############   
    89. 

  89.        acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$      
    90. 

  90.        #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写   
    91. 

  91.        acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn   
    92. 

  92.        #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写   
    93. 

  93.        #acl itnihao    hdr(host) -i itnihao.cn   
    94. 

  94.        #如果请求的域名满足itnihao.cn返回true -i是忽略大小写   
    95. 

  95.        #acl file_req url_sub -i  killall=   
    96. 

  96.        #在请求url中包含killall=,则此控制策略返回true,否则为false   
    97. 

  97.        #acl dir_req url_dir -i allow   
    98. 

  98.        #在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false   
    99. 

  99.        #acl missing_cl hdr_cnt(Content-length) eq 0   
    100. 

  100.        #当请求的header中Content-length等于0时返回true   
    101. 

  101.    
    102. 

  102.        ########acl策略匹配相应#############   
    103. 

  103.        #block if missing_cl   
    104. 

  104.        #当请求中header中Content-length等于0阻止请求返回403   
    105. 

  105.        #block if !file_req || dir_req   
    106. 

  106.        #block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求   
    107. 

  107.        use_backend  server_web  if itnihao_web   
    108. 

  108.        #当满足itnihao_web的策略时使用server_web的backend   
    109. 

  109.        use_backend  server_blog if itnihao_blog   
    110. 

  110.        #当满足itnihao_blog的策略时使用server_blog的backend   
    111. 

  111.        #redirect prefix http://blog.itniaho.cn code 301 if itnihao   
    112. 

  112.        #当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3   
    113. 

  113.        default_backend server_bbs   
    114. 

  114.        #以上都不满足的时候使用默认server_bbs的backend   
    115. 

  115.    
    116. 

  116.    
    117. 

  117.    
    118. 

  118.    
    119. 

  119. ##########backend的设置##############   
    120. 

  120. #下面我将设置三组服务器 server_web,server_blog,server_bbs  
    121. 

  121. ###########################backend server_web#############################   
    122. 

  122. backend server_web   
    123. 

  123.        mode http            #http的7层模式   
    124. 

  124.        balance roundrobin   #负载均衡的方式,roundrobin平均方式   
    125. 

  125.        cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义   
    126. 

  126.        option httpchk GET /index.html #心跳检测的文件   
    127. 

  127.        server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1    
    128. 

  128.        #服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,   
    129. 

  129.        #fall 3是3次失败认为服务器不可用,weight代表权重   
    130. 

  130.        server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2   
    131. 

  131.        #服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,   
    132. 

  132.        #fall 3是3次失败认为服务器不可用,weight代表权重   
    133. 

  133.    
    134. 

  134. ###################################backend server_blog###############################################   
    135. 

  135. backend server_blog   
    136. 

  136.        mode http            #http的7层模式   
    137. 

  137.        balance roundrobin   #负载均衡的方式,roundrobin平均方式   
    138. 

  138.        cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义   
    139. 

  139.        option httpchk GET /index.html #心跳检测的文件   
    140. 

  140.          
    141. 

  141.        #服务器定义:   
    142. 

  142.        #cookie 1表示serverid为web1,   
    143. 

  143.        #check inter 1500是检测心跳频率  
    144. 

  144.        #rise 3是3次正确认为服务器可用,  
    145. 

  145.        #fall 3是3次失败认为服务器不可用,  
    146. 

  146.        #weight代表权重   
    147. 

  147.        server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1    
    148. 

  148.        server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2   
    149. 

  149.   
    150. 

  150.    
    151. 

  151. ###################################backend server_bbs###############################################   
    152. 

  152. backend server_bbs   
    153. 

  153.        mode http            #http的7层模式   
    154. 

  154.        balance roundrobin   #负载均衡的方式,roundrobin平均方式   
    155. 

  155.        cookie SERVERID      #允许插入serverid到cookie中,serverid后面可以定义   
    156. 

  156.        option httpchk GET /index.html #心跳检测的文件   
    157. 

  157.          
    158. 

  158.        #服务器定义,  
    159. 

  159.        #cookie 1表示serverid为web1,  
    160. 

  160.        #check inter 1500是检测心跳频率  
    161. 

  161.        #rise 3是3次正确认为服务器可用,  
    162. 

  162.        #fall 3是3次失败认为服务器不可用,  
    163. 

  163.        #weight代表权重  
    164. 

  164.        server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1  
    165. 

  165.        server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2  
    166. 

  166.          
    167. 










 


配置例子1


 






[cpp] view plain copy

 










    

  1. ###########全局配置#########  
    2. 

  2. global  
    3. 

  3.         daemon  
    4. 

  4.         nbproc 1  
    5. 

  5.         pidfile /var/run/haproxy.pid  
    6. 

  6.   
    7. 

  7.   
    8. 

  8. ########默认配置############  
    9. 

  9. defaults  
    10. 

  10.         mode http               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK  
    11. 

  11.         retries 2               #两次连接失败就认为是服务器不可用，也可以通过后面设置  
    12. 

  12.         option redispatch       #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器  
    13. 

  13.         option abortonclose     #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接  
    14. 

  14.         maxconn 4096            #默认的最大连接数  
    15. 

  15.         timeout connect 5000ms  #连接超时  
    16. 

  16.         timeout client 30000ms  #客户端超时  
    17. 

  17.         timeout server 30000ms  #服务器超时  
    18. 

  18.         #timeout check 2000      #=心跳检测超时  
    19. 

  19.         log 127.0.0.1 local0 err #[err warning info debug]  
    20. 

  20.   
    21. 

  21.   
    22. 

  22. ########统计页面配置########  
    23. 

  23. listen admin_stats  
    24. 

  24.         bind 0.0.0.0:1080               #监听端口  
    25. 

  25.         mode http                       #http的7层模式  
    26. 

  26.         option httplog                  #采用http日志格式  
    27. 

  27.         #log 127.0.0.1 local0 err  
    28. 

  28.         maxconn 10  
    29. 

  29.         stats refresh 30s               #统计页面自动刷新时间  
    30. 

  30.         stats uri /stats                #统计页面url  
    31. 

  31.         stats realm XingCloud\ Haproxy  #统计页面密码框上提示文本  
    32. 

  32.         stats auth admin:admin          #统计页面用户名和密码设置  
    33. 

  33.         stats hide-version              #隐藏统计页面上HAProxy的版本信息  
    34. 

  34.   
    35. 

  35.   
    36. 

  36. ########test1配置#################  
    37. 

  37. listen test1  
    38. 

  38.         bind 0.0.0.0:90  
    39. 

  39.         mode tcp  
    40. 

  40.         #maxconn 4086  
    41. 

  41.         #log 127.0.0.1 local0 debug  
    42. 

  42.         server s1 10.18.138.201:80  
    43. 

  43.         server s2 10.18.102.190:80  
    44. 

  44.         server s3 10.18.102.189:80  
    45. 

  45.         server s4 10.18.102.188:80  
    46. 

  46.         server s5 10.18.102.187:80  
    47. 

  47. ########frontend配置##############  
    48. 

  48.   
    49. 

  49.   
    50. 

  50. ########test2配置#################  
    51. 

  51. listen test2  
    52. 

  52.         bind 0.0.0.0:91  
    53. 

  53.         mode tcp  
    54. 

  54.         #maxconn 4086  
    55. 

  55.         #log 127.0.0.1 local0 debug  
    56. 

  56.         server s1 10.18.138.130:80      weight 1  
    57. 

  57.         server s2 10.18.138.201:8080    weight 6  
    58. 

  58. ########frontend配置##############  
    59. 










 


配置例子2


 






[cpp] view plain copy

 










      

    1. global  
      2. 

    2.        maxconn 51200 #限制单个进程的最大连接数  
      3. 

    3.         chroot /usr/local/haproxy  
      4. 

    4.        uid 99 #所属运行用户，默认99为nobody  
      5. 

    5.        gid 99 #所属运行用户组，默认99为nobody  
      6. 

    6.        daemon #让进程作为守护进程在后台运行  
      7. 

    7.         quiet  
      8. 

    8.        nbproc 2 #指定作为守护进程运行时的进程数，推荐设置为与CPU核心数相同  
      9. 

    9.         pidfile //usr/local/haproxy/haproxy.pid  
      10. 

    10.   
      11. 

    11. defaults  
      12. 

    12.   
      13. 

    13.        mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK  
      14. 

    14.        #retries 2 #两次连接失败就认为是服务器不可用，也可以通过后面设置  
      15. 

    15.         option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器  
      16. 

    16.         option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接  
      17. 

    17.         timeout connect 5000ms #连接超时  
      18. 

    18.         timeout client 30000ms #客户端超时  
      19. 

    19.         timeout server 30000ms #服务器超时  
      20. 

    20.         #timeout check 2000 #=心跳检测超时  
      21. 

    21.         log 127.0.0.1 local0 err #[err warning info debug]  
      22. 

    22.        balance roundrobin                     #负载均衡算法  
      23. 

    23.         #option  httplog                        #日志类别,采用httplog  
      24. 

    24.        #option  httpclose   #每次请求完毕后主动关闭http通道,ha-proxy不支持keep-alive,只能模拟这种模式的实现  
      25. 

    25.         #option  dontlognull  
      26. 

    26.        #option  forwardfor  #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip  
      27. 

    27.   
      28. 

    28.   
      29. 

    29. listen www.123p6.cn 0.0.0.0:80 #运行的端口及主机名  
      30. 

    30.        mode http #使用http的7层模式  
      31. 

    31.        balance roundrobin #设置服务器负载分配算法  
      32. 

    32.        option httpclose  
      33. 

    33.       option forwardfor  
      34. 

    34.       option httpchk GET /keepalive.html #健康检测页面  
      35. 

    35.        server webapp1 192.168.1.101:80 weight 1 check inter 2000 rise 2 fall 3  
      36. 

    36.       server webapp2 192.168.1.102:80 weight 1 check inter 2000 rise 2 fall 3  
      37. 

    37.       # weight - 调节服务器的负重   
      38. 

    38.        # check - 允许对该服务器进行健康检查   
      39. 

    39.        # inter - 设置连续的两次健康检查之间的时间，单位为毫秒(ms)，默认值 2000(ms)   
      40. 

    40.       # rise - 指定多少次连续成功的健康检查后，即可认定该服务器处于可操作状态，默认值 2   
      41. 

    41.       # fall - 指定多少次不成功的健康检查后，认为服务器为当掉状态，默认值 3   
      42. 

    42.       # maxconn - 指定可被发送到该服务器的最大并发连接数   
      43. 

    43.   
      44. 

    44. listen localhost 0.0.0.0:8888 #监控页面的端口  
      45. 

    45.        mode http  
      46. 

    46.       transparent  
      47. 

    47.       stats refresh 30s #统计页面自动刷新时间  
      48. 

    48.        stats uri /haproxy-stats #监控页面的访问地址  
      49. 

    49.        stats realm Haproxy \ statistic #统计页面密码框上提示文本  
      50. 

    50.        stats auth haproxyadmin:haproxypass #统计页面用户名和密码设置  
      51. 

    51.        stats hide-version #隐藏统计页面上HAProxy的版本信息
      52. 









            

            
posted @ 
2018-04-12 15:33 
技术颜良 
阅读(355) 
评论(0) 
编辑 
收藏 
举报