一. Haproxy 介绍
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。
其支持从4层至7层的网络交换，即覆盖所有的TCP协议。就是说，Haproxy 甚至还支持 Mysql 的均衡负载。如果说在功能上，能以proxy反向代理方式实现 WEB均衡负载，这样的产品有很多。包括 Nginx，ApacheProxy，lighttpd，Cheroke 等。
但要明确一点的，Haproxy并不是Http服务器。以上提到所有带反向代理均衡负载的产品，都清一色是WEB服务器。简单说，就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..)文件的传输以及处理。而Haproxy仅仅，而且专门是一款的用于均衡负载的应用代理。其自身并不能提供http服务。
HAProxy的算法有如下8种：
1. roundrobin，表示简单的轮询
2. static-rr，表示根据权重，
3. leastconn，表示最少连接者先处理，
4. source，表示根据请求源IP，
5. uri，表示根据请求的URI；
6. url_param，表示根据请求的URl参数'balance url_param' requires an URL parameter name
7. hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求；
8. rdp-cookie(name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。
二. Haproxy 编译安装
1. 编译安装
tar zxf haproxy-1.4.22.tar.gz
tar zxf keepalived-1.2.7.tar.gz
uname -r
make TARGET=linux26 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
2. cp模板文件
cp -ar examples /usr/local/haproxy/
rsync -arvz /usr/local/haproxy/share/man /usr/share/
cp -ar tests /usr/local/haproxy/
cp doc/configuration.txt /usr/local/haproxy/
rsync -arvz soft/haproxy-1.4.22/examples/errorfiles /usr/local/haproxy/
cp examples/haproxy.cfg /usr/local/haproxy/etc/
cp examples/haproxy.init /etc/init.d/haproxy
3. Init 脚本的配置,需要修改,在后面介绍
chmod a+x /etc/init.d/haproxy
chkconfig --add haproxy
4. selinux 的配置
#yum install selinux-policy-devel
#cd contrib/selinux/
#make -f /usr/share/selinux/devel/Makefile
#sudo semodule -i haproxy.pp
#restorecon /usr/sbin/haproxy /etc/haproxy/haproxy.cfg /var/run/haproxy.pid /var/run/haproxy.sock*
#mkdir /usr/local/haproxy/etc
4. 日志支持，接口和你自己定义的有关系
#vim /etc/syslog.conf
local3.* /var/log/haproxy.log
local0.* /var/log/haproxy.log
#vim /etc/sysconfig/syslog
SYSLOGD_OPTIONS="-r -m 0"
#service syslog restart
5. Haproxy的相关启动参数
# /usr/local/haproxy/sbin/haproxy –help
haproxy -f < 配置文件>
[-n 最大并发连接总数] [-N 每个侦听的最大并发数] [-d] [-D] [-q] [-V] [-c] [-p ] [-s] [-l] [-dk]
[-ds] [-de] [-dp] [-db] [-m < 内存限制M>] [{-sf|-st} pidlist...]
-d 前台，debug模式
-D daemon模式启动
-q 安静模式,不输出信息
-V 详细模式
-c 对配置文件进行语法检查
-s 显示统计数据
-l 显示详细统计数据
-dk 不使用kqueue
-ds 不使用speculative epoll
-de 不使用epoll
-dp 不使用poll
-db 禁用后台模式，程序跑在前台
-sf 程序启动后向pidlist里的进程发送FINISH信号，这个参数放在命令行的最后
-st 程序启动后向pidlist里的进程发送TERMINATE信号，这个参数放在命令行的最后
列:
# /usr/local/haproxy/sbin/haproxy -c -f /usr/local/haproxy/etc/haproxy.cfg # 对haproxy 语法做检查
# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg -sf `cat /var/run/haproxy.pid` # reload
# killall haproxy 或者 kill -9 `pidof haproxy`
三. Haproxy 配置文件解说
# cat /usr/local/haproxy/etc/haproxy.cfg
####################全局配置信息#############参数是进程级的，通常和操作系统（OS）相关#########
global
maxconn 20480 #默认最大连接数
log 127.0.0.1 local3 #[err warning info debug]
chroot /usr/local/haproxy #chroot运行的路径
uid 99 #所属运行的用户uid
gid 99 #所属运行的用户组
daemon #以后台形式运行haproxy
nbproc 1 #进程数量(可以设置多个进程提高性能)
pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
ulimit-n 65535 #ulimit的数量限制
#####################默认的全局设置##############这些参数可以被利用配置到frontend，backend，listen组件##
defaults
log global
mode http #所处理的类别 (#7层 http;4层tcp )
maxconn 20480 #最大连接数
option httplog #日志类别http日志格式
option httpclose #每次请求完毕后主动关闭http通道
option dontlognull #不记录健康检查的日志信息
option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
stats refresh 30 #统计页面刷新间隔
retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置
balance roundrobin #默认的负载均衡的方式,轮询方式
#balance source #默认的负载均衡的方式,类似nginx的ip_hash,可以固定session
#balance leastconn #默认的负载均衡的方式,最小连接
contimeout 5000 #连接超时5s , 单位是ms
clitimeout 50000 #客户端超时
srvtimeout 50000 #服务器超时
timeout check 2000 #心跳检测超时
#注: 时间的设置,单位为毫秒ms
1ms = 1/1000 second
1m = 60s = 60000 ms
1h = 60m = 3600s
1d = 24h = 1440m = 86400s = 864000000ms
####################监控页面的设置#######################
listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称
bind :65532 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #错误日志记录
stats refresh 5s #每隔5秒自动刷新监控页面
stats uri /admin?stats #监控页面的url
stats realm Haproxy\ Statistics #监控页面的提示信息
stats auth yangcan:yangcan #监控页面的用户和密码yangcan,可以设置多个用户名
#stats auth admin:admin #监控页面的用户和密码admin
stats hide-version #隐藏统计页面上的HAproxy版本信息
stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
#######################网站监测listen配置#####################
###########此用法主要是监控haproxy后端服务器的监控状态############
listen site_status
bind :1081 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #[err warning info debug]
monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503
acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于2台时返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503
monitor-net 10.0.0.103/24 #来自10.0.0.103的日志信息不会被记录和转发
monitor-net 10.0.0.25/24
########frontend配置############
#####注意，frontend配置里面可以定义多个acl进行匹配操作########
frontend http_80_in
bind :80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似
mode http #http的7层模式
log global #应用全局的日志配置
option httplog #启用http的log
option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式
option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
################# HAProxy的日志记录内容设置 ###################
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Content-Length len 10
capture response header Cache-Control len 8
########acl策略配置#############
acl baby_web hdr_reg(host) -i ^(blog80.baby.local |station80.baby.local)$
#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写,主要用于redirect到www80.baby.local上;
acl baby_blog hdr_dom(host) -i www80.baby.local
#如果请求的域名满足www80.baby.local 返回true -i是忽略大小写
#acl baby hdr(host) -i baby.local
#如果请求的域名满足baby.local 返回true -i是忽略大小写
#acl file_req url_sub -i killall=
#在请求url中包含killall=，则此控制策略返回true,否则为false
#acl dir_req url_dir -i allow
#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false
#acl missing_cl hdr_cnt(Content-length) eq 0
#当请求的header中Content-length等于0时返回true
########acl策略匹配相应#############
#block if missing_cl
#当请求中header中Content-length等于0阻止请求返回403
#block if !file_req || dir_req
#block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求
redirect prefix http://www80.baby.local code 301 if baby
#当访问itnihao.cn的时候，用http的301挑转到http://10.0.0.103
reqisetbe ^[^\]*\/(img|css)/ server_web
reqisetbe ^[^\]*\/bbs/ server_blog
# reqisetbe 关键字定义,根据定义的关键字选择backend
use_backend server_web if baby_web
#当满足baby_web的策略时使用server_web的backend
use_backend server_blog if baby_log
#当满足baby_log的策略时使用server_blog的backend
default_backend server_bbs
#以上都不满足的时候使用默认server_bbs的backend
# 注: redirect 和 reqisetbe 需要放置在 use_backend 之前
##########backend的设置##############
#下面我将设置三组服务器 server_web，server_blog，server_bbs
###########################backend server_web#############################
backend server_web
mode http #http的7层模式
balance roundrobin #负载均衡的方式，roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
server web1 10.0.0.25:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
#fall 3是3次失败认为服务器不可用，weight代表权重
server web2 10.0.0.103:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
#fall 3是3次失败认为服务器不可用，weight代表权重
###################################backend server_blog###############################################
backend server_blog
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server blog1 10.0.0.25:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
server blog2 10.0.0.103:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
###################################backend server_bbs###############################################
backend server_bbs
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
################################### 虚拟主机的配置支持###############################################
listen blog80.baby.local 0.0.0.0:80
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
listen bbs.baby.local 0.0.0.0:80
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
四. Haproxy init 启动脚本
[root@www80 ~]# cat /etc/init.d/haproxy
#!/bin/sh
#
# chkconfig: - 85 15
# description: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited \
# for high availability environments.
# processname: haproxy
# config: /etc/haproxy/haproxy.cfg
# pidfile: /var/run/haproxy.pid
# Script Author: Simon Matter <simon.matter@invoca.ch>
# Version: 2004060600
# Source function library.
if [ -f /etc/init.d/functions ]; then
. /etc/init.d/functions
elif [ -f /etc/rc.d/init.d/functions ] ; then
. /etc/rc.d/init.d/functions
else
exit 0
fi
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
HAPROXYDIR=/usr/local/haproxy
BASENAME=haproxy
# This is our service name
#BASENAME=`basename $0`
#if [ -L $0 ]; then
# BASENAME=`find $0 -name $BASENAME -printf %l`
# BASENAME=`basename $BASENAME`
#fi
[ -f $HAPROXYDIR/etc/$BASENAME.cfg ] || exit 1
RETVAL=0
start() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
echo -n "Starting $BASENAME: "
daemon $HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$BASENAME
return $RETVAL
}
stop() {
echo -n "Shutting down $BASENAME: "
killproc $BASENAME -USR1
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$BASENAME
[ $RETVAL -eq 0 ] && rm -f /var/run/$BASENAME.pid
return $RETVAL
}
restart() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
stop
start
}
reload() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
$HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid -sf $(cat /var/run/$BASENAME.pid)
}
check() {
$HAPROXYDIR/sbin/$BASENAME -c -q -V -f $HAPROXYDIR/etc/$BASENAME.cfg
}
rhstatus() {
status $BASENAME
}
condrestart() {
[ -e /var/lock/subsys/$BASENAME ] && restart || :
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
reload)
reload
;;
condrestart)
condrestart
;;
status)
rhstatus
;;
check)
check
;;
*)
echo $"Usage: $BASENAME {start|stop|restart|reload|condrestart|status|check}"
exit 1
esac
exit $?
五. Haproxy 测试
///////////////////////// 测试 roundrobin 算法 ///////////////////////////////
# for i in $(seq 10)
do
curl http://www80.baby.local/index.html
done
++++++++++++++++++++++++++
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
六. Haproxy 维持session 的三种方法
1. session知识储备
Session是由应用服务器维持的一个服务器端的存储空间，用户在连接服务器时，会由服务器生成一个唯一的SessionID,用该SessionID 为标识符来存取服务器端的Session存储空间。
而SessionID这一数据则是保存到客户端，用Cookie保存的，用户提交页面时，会将这一 SessionID提交到服务器端，来存取Session数据。服务器也通过URL重写的方式来传递SessionID的值，因此不是完全依赖Cookie。如果客户端Cookie禁用，则服务器可以自动通过重写URL的方式来保存Session的值，并且这个过程对程序员透明。
2. Php.ini 设置
php.ini 里几个session相关值的 其它的值请参考《PHP与Mysql5程序设计》
session.use_cookies = 1 #表示 服务端和客户端交互session是通过cookie的方式 默认值
session.name = PHPSESSID #默认值是PHPSESSID
session.cache_limiter = nocache #此设置确保对每个请求，在可能提供缓存的版本前，先请求发送到最初的服务器。这个值联系到下文中 cookie识别中的相关参数
3. haproxy三种方法保持客户端session一致
3.1 用户IP 识别
haroxy 将用户IP经过hash计算后 指定到固定的真实服务器上（类似于nginx 的IP hash 指令）
balance source
3.2 cookie 识别
haproxy 将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIE ID。
cookie SESSION_COOKIE insert indirect nocache
用firebug可以观察到用户的请求头的cookie里 有类似" Cookie PHPSESSID=0bc588656ca05ecf7588c65f9be214f5; SESSION_COOKIE=12" SESSION_COOKIE=12就是haproxy添加的内容
3.3 session 识别
haproxy 将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。
appsession PHPSESSID len 64 timeout 5h request-learn
4. 测试seesion 固定, 这是一个php脚本,
<?php
session_start();
$_SESSION['time'] =date("Y:m:d:H:s",time());
echo "本次访问时间"."<font color=red>".$_SESSION['time']."</font>"."<br>";
echo "访问的服务器地址是"."<font color=red>".$_SERVER['SERVER_ADDR']."</font>"."<br>";
echo "访问的服务器域名是"."<font color=red>".$_SERVER['SERVER_NAME']."</font>"."<br>";
echo "SESSIONNAME是"."<font color=red>".session_name()."</font>"."<br>";
echo "SESSIONID是"."<font color=red>".session_id()."</font>"."<br>";
?>
七. Haproxy + keepalived 的高可用
1. Keepalived 的编译安装
tar zxf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure --sysconfdir=/etc
make && make install
2. 配置文件
# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@www80.baby.local
}
notification_email_from root@www80.baby.local
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER # 在备份机器上改成BACKUP
interface eth0
virtual_router_id 51
priority 100 # 备份机器优先级比100要低
advert_int 2
grap_master_delay 1
authentication {
auth_type PASS
auth_pass yangcan
}
track_interface {
eth0
}
virtual_ipaddress {
10.0.0.144
}
track_script {
chk_haproxy
}
# notify_master "/etc/keepalived/Mailnotify.py master"
# notify_backup "/etc/keepalived/Mailnotify.py backup"
# notify_fault "/etc/keepalived/Mailnotify.py fault"
}
