varnish05-varnish使用实例

• 一个中小型Web站点的架构图。

1、使用Varnish

1.1、试验架构图

• 在10.1.1.11上安装varnish，在10.1.1.12和13上安装httpd。

1.2、配置varnish.params文件

]# vim /etc/varnish/varnish.params
#启动服务时，systemd自动重新编译VCL配置文件
RELOAD_VCL=1
#默认加载的VCL配置文件
VARNISH_VCL_CONF=/etc/varnish/default.vcl
#varnish对外提供Web服务的IP地址和端口（默认监听所有IP地址和6081端口）
# VARNISH_LISTEN_ADDRESS=192.168.1.5
VARNISH_LISTEN_PORT=8080
#varnish的管理API接口监听的IP地址和端口
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=6082
#CLI鉴权的加密文件
VARNISH_SECRET_FILE=/etc/varnish/secret
#varnish的缓存存储机制
VARNISH_STORAGE="malloc,256M"
#varnishd工作进程的用户和组
VARNISH_USER=varnish
VARNISH_GROUP=varnish
#运行时参数
#DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"

1.3、配置VCL文件

]# vim /etc/varnish/default.vcl
vcl 4.0;

import directors;
#定义后端服务器
backend hh1 {
    .host = "10.1.1.12";
    .port = "80";
}
backend hh2 {
    .host = "10.1.1.13";
    .port = "80";
}
#定义后端服务器组（round_robin和random）
sub vcl_init {
    new hh_group = directors.round_robin();
    hh_group.add_backend(hh1);
    hh_group.add_backend(hh2);
}
#使用后端服务器组
sub vcl_recv {
    set req.backend_hint = hh_group.backend();
}

#可以清理请求、删除cookie、重写请求等。（在检查缓存之前发生）
sub vcl_recv {
}
#可以清理响应头、删除Set-Cookie头和其他。（在后端读取响应头后发生）
sub vcl_backend_response {
}
#计算或修改最终对象，并准备将响应发送给客户端时发生。
sub vcl_deliver {
}

1.4、启动varnish服务

1、启动varnish服务

]# systemctl start varnish.service

//记录varnish日志服务（一般不用启动，日志会在前置nginx上记录）
]# systemctl start varnishncsa.service

2、查看varnish的VCL配置

]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
//列出VCL配置文件的版本
varnish> vcl.list
200        
active          0 boot
//查看VCL配置文件的版本boot的自定义内容
varnish> vcl.show boot
200        
vcl 4.0;

import directors;
#定义后端服务器
backend hh1 {
    .host = "10.1.1.12";
    .port = "80";
}
backend hh2 {
    .host = "10.1.1.13";
    .port = "80";
}
#定义后端服务器组（round_robin和random）
sub vcl_init {
    new hh_group = directors.round_robin();
    hh_group.add_backend(hh1);
    hh_group.add_backend(hh2);
}
#使用后端服务器组
sub vcl_recv {
    set req.backend_hint = hh_group.backend();
}

#可以清理请求、删除cookie、重写请求等。（在检查缓存之前发生）
sub vcl_recv {
}
#可以清理响应头、删除Set-Cookie头和其他。（在后端读取响应头后发生）
sub vcl_backend_response {
}
#计算或修改最终对象，并准备将响应发送给客户端时发生。
sub vcl_deliver {
}
//查看后端服务器列表
varnish> backend.list
200        
Backend name                   Refs   Admin      Probe
hh1(10.1.1.12,,80)             1      probe      Healthy (no probe)
hh2(10.1.1.13,,80)             1      probe      Healthy (no probe)

2、优化配置

2.1、varnish的缓存存储机制

1、内存存储

• malloc[,<size>]
  • malloc是关键字，size是定义内存的大小。
  • 重启后所有缓存项失效。
• jemalloc对内存缓存挺有用的，并发申请内存(malloc默认一个)
  • yum info jemalloc

2、磁盘文件存储

• file[,<dir_or_file>[,<size>[,<granularity>]]]
  • file是关键字，默认目录是/tmp。
  • 重启后所有缓存项失效
• 建议使将固态硬盘组织成ride
• 示例，"file,/usr/local/varnish/cache.data,1G"

3、文件存储（实验）

• persist{experimental}
  • 重启后所有缓存项有效

2.2、varnish的运行时参数

• varnish的运行时参数有两种设置方式：

//方法一，配置varnish.params文件（永久生效）
]# vim /etc/varnish/varnish.params
#DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"

//方法二，varnishadm命令（重启生效）
]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
param.show [-l] [<param>]
param.set <param> <value>

1、线程相关的参数

• 每一个请求由一个线程来处理。worker线程的最大数决定了varnish的并发响应能力。

• thread_pools：工作线程池的数目，默认2个。小于或等于CPU核心的数量。
• thread_pool_max：每个线程池中的最大线程数，默认5000个。（最大并发连接数=thread_pools * thread_pool_max）
• thread_pool_min：每个线程池中的最小线程数，即“最大空闲线程数”。

• thread_pool_timeout：空闲线程的超时时长。超过thread_pool_min的空闲线程将被销毁。
• thread_pool_add_delay：在创建线程之后，至少要等待这么长时间才能创建下一个线程。
• thread_pool_destroy_delay：杀死线程时要犹豫的时长。

• thread_pool_fail_delay：创建线程失败时，要间隔多长时间才重新尝试创建线程。
• thread_queue_limit：每个线程池允许的队列长度。排队等待线程的请求数量，超过这个限制的请求将被丢弃而不是排队。

2、计时器(Timer)相关的参数

• connect_timeout：连接后端主机的超时时间，超时会返回502。如果有大量502出现，可以考虑连接数量、增加超时时间、添加后端服务器降低拥挤

• first_byte_timeout：从后端接收第一个字节的默认超时。在放弃之前，我们只为第一个字节等待这么多秒。值为0意味着它永远不会超时。VCL可以为每个后端和后端请求重写此默认值。此参数不适用于管道。
• between_bytes_timeout当从后端接收数据时，字节之间的默认超时。我们只在字节之间等待这么多秒就会放弃。值为0意味着它永远不会超时。VCL可以为每个后端请求和后端请求重写此默认值。此参数不适用于管道。

• send_timeout：为客户端连接发送超时。如果HTTP响应没有在这么多秒内传输，会话将关闭。
• timeout_idle：客户端连接的空闲超时。 （保持连接）
• timeout_req：接收客户端请求头的最大时间，从第一个非空白字符到两个CRNL。

• cli_timeout：子进程响应mgt_param命令行请求的超时时间。

1

#                                                                                                                        #