linux下syslog-ng日志集中管理服务部署记录
syslog是Linux系统默认的日志守护进程，默认的syslog配置文件是/etc/syslog.conf文件。syslog守护进程是可配置的，它允许人们为每一种类型的系统信息精确地指定一个存放地点。比较 syslog ，syslog-ng 具有众多高级的功能：更好的网络支持，更加方便的配置，集中式的网络日志存储，并且更具有弹性。比如，使用syslogd时，所有的iptables日志与其他内核日志一起全部存储到了kern.log文件里。Syslog-ng则可以让你有选择性的将iptables部分分出到另外的日志文件中。Syslogd仅能使用UDP协议，Syslog-ng 可以使用UDP和TCP协议。所以我们可以在加密的网络隧道中传输日志到集中日志服务器。
syslog-ng的一个设计原则就是建立更好的消息过滤粒度。syslog-ng能够进行基于内容和优先权/facility的过滤。另一个设计原则是更容易进行不同防火墙网段的信息转发，它支持主机链，即使日志消息经过了许多计算机的转发，也可以找出原发主机地址和整个转发链。最后的一个设计原则就是尽量使配置文件强大和简洁。syslog-ng作为syslog的替代工具，可以完全替代syslog的服务，并且通过定义规则，实现更好的过滤功能。之前介绍了Linux下rsyslog日志收集服务环境部署记录，下面简单介绍下syslog-ng日志集中管理服务部署记录：
下面部署实例目的：
实现接收远程客户端服务日志（nginx、mysql、php、apache）保存在本地一台日志服务器上提供查看。
即远程客户机采用syslog-ng将其日志通过管道pipe传送到本地的日志服务器上进行查看。
一、syslog-ng安装（服务端和客户端都要安装）
[root@syslog-ng ~]# wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
[root@syslog-ng ~]# rpm -ivh epel-release-latest-6.noarch.rpm --force
[root@syslog-ng ~]# yum install syslog-ng -y
==============================================================================================
温馨提示：
由于日志集中管理服务syslog-ng采用的是C/S架构，所以客户端也需要安装syslog-ng。
如果客户端只是传输系统日志到syslog-ng服务器上，那么客户端就不需安装syslog-ng了，只需要在在syslog.conf配置里添加一条：
#vim /etc/syslog.conf //这是系统日志，所有级别的所有日志。
*.* @192.168.10.205 //此处IP地址为日志服务器IP【即客户端的ip】
==============================================================================================
二、syslog-ng服务端配置记录（192.168.10.205）
[root@syslog-ng ~]# cp /etc/syslog-ng/syslog-ng.conf /etc/syslog-ng/syslog-ng.conf.bak
[root@syslog-ng ~]# vim /etc/syslog-ng/syslog-ng.conf
......
options {
flush_lines (0);
time_reopen (10);
log_fifo_size (1000);
long_hostnames (off);
use_dns (no);
use_fqdn (no);
create_dirs (yes); #此行改为yes
keep_hostname (yes);
};
......
source s_log {
udp(ip(0.0.0.0) port(514));
};
......
destination d_log {
file("/data/syslog-ng/kevin.log");
};
......
log { source(s_log); destination(d_log); };
配置说明：
options 为全局配置参数
source 是日志从本机的哪个IP哪个端口接收信息
destination 接收到信息保存在哪个文件
log 就是将来源信息写入到目的文件中
创建日志存放文件
[root@syslog-ng ~]# mkdir /data/syslog-ng/
[root@syslog-ng ~]# touch /data/syslog-ng/kevin.log #此文件其实可以不用提前创建，会自动创建。
[root@syslog-ng ~]# chmod 600 /data/syslog-ng/kevin.log
启动syslog-ng服务
[root@syslog-ng ~]# /etc/init.d/syslog-ng start
Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
[ OK ]
三、syslog-ng客户端配置记录（192.168.10.206）
将客户端服务器nginx日志通过管道文件传输到日志服务器上（即输出到syslog-ng服务器端）
[root@web-node01 ~]# cp /etc/syslog-ng/syslog-ng.conf /etc/syslog-ng/syslog-ng.conf.bak
[root@web-node01 ~]# vim /etc/syslog-ng/syslog-ng.conf
......
options {
flush_lines (0);
time_reopen (10);
log_fifo_size (1000);
long_hostnames (off);
use_dns (no);
use_fqdn (no);
create_dirs (yes); #修改为yes
keep_hostname (yes);
};
......
source s_slog {
pipe("/data/kevin/log.pipe");
};
......
destination d_slog { udp(192.168.10.205 port(514)); }; #ip为syslog-ng服务端ip地址
......
log { source(s_slog); destination(d_slog); };
创建管道文件
[root@web-node01 ~]# mkdir /data/kevin
[root@web-node01 ~]# mkfifo /data/kevin/log.pipe
启动syslog-ng服务
[root@web-node01 ~]# /etc/init.d/syslog-ng start
Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
[ OK ]
验证测试：
比如将客户端nginx服务日志信息导入到管道文件中
[root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe &
[root@web-node01 ~]# ps -ef|grep -v grep|grep "tail -f /etc/nginx/logs/access.log"
root 28598 25044 0 15:08 pts/2 00:00:00 tail -f /etc/nginx/logs/access.log
接着去syslon-ng的服务端查看，发现日志已经传过来了。
注意这个日志传输是实施在刷的，也就是说只要syslog-ng客户端那边的日志实时在刷，服务端这边就会实时地接收过来。
[root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:04 +0800] "GET / HTTP/1.1" 403 571 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:04 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:05:32 +0800] "GET /a.txt HTTP/1.1" 200 10 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:05 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:06 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:06 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:07 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:28 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
Jul 4 15:08:40 web-node01 172.17.13.18 - [04/Jul/2018:15:08:29 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - -
到此，一个简单的syslog-ng日志集中管理服务环境就部署成功了。
========================================================================================
需要注意的是：
上面实验仅仅是传输了客户端的nginx日志到远程日志服务器上，其实是可以配置传输多个日志的，只需要：
1）在syslog-ng服务端和客户端的syslog-ng.conf文件里配置多个source及destination即可！
2）多个配置时，记住端口一定不能配置成一样的，否则多个日志会被传输到远程服务器的同一个日志里！！默认端口是514，多配置的时候，可以用比如5514、5515、5516等端口。
如在上面配置传输nginx日志的基础上，再输出客户机的/var/log/message日志、/var/log/redis/redis.log日志和/var/log/slapd/slapd.log日志到syslog-ng服务器端，则需要添加操作：
1）在syslog-ng服务器端（192.168.10.205）需要添加配置：
[root@syslog-ng ~]# vim /etc/syslog-ng/syslog-ng.conf
......
source s_mem {
udp(ip(0.0.0.0) port(5514));
};
source s_redis {
udp(ip(0.0.0.0) port(5515));
};
source s_slapd {
udp(ip(0.0.0.0) port(5516));
};
......
destination d_mem {
file("/data/syslog-ng/mem.log");
};
destination d_redis {
file("/data/syslog-ng/redis.log");
};
destination d_slapd {
file("/data/syslog-ng/slapd.log");
};
......
log { source(s_mem); destination(d_mem); };
log { source(s_redis); destination(d_redis); };
log { source(s_slapd); destination(d_slapd); };
创建日志存放文件
[root@syslog-ng ~]# touch /data/syslog-ng/mem.log
[root@syslog-ng ~]# touch /data/syslog-ng/redis.log
[root@syslog-ng ~]# touch /data/syslog-ng/slapd.log
[root@syslog-ng ~]# chmod 600 /data/syslog-ng/mem.log
[root@syslog-ng ~]# chmod 600 /data/syslog-ng/redis.log
[root@syslog-ng ~]# chmod 600 /data/syslog-ng/slapd.log
重启syslog-ng服务
[root@syslog-ng ~]# /etc/init.d/syslog-ng restart
Stopping syslog-ng: [ OK ]
Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
[ OK ]
[root@syslog-ng ~]# lsof -i:514
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
syslog-ng 32260 root 10u IPv4 108534591 0t0 UDP *:syslog
[root@syslog-ng ~]# lsof -i:5514
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
syslog-ng 32260 root 11u IPv4 108534592 0t0 UDP *:5514
[root@syslog-ng ~]# lsof -i:5515
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
syslog-ng 32260 root 12u IPv4 108534593 0t0 UDP *:5515
[root@syslog-ng ~]# lsof -i:5516
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
syslog-ng 32260 root 13u IPv4 108534594 0t0 UDP *:5516
2）在syslog-ng客户端（192.168.10.206）需要添加配置：
[root@web-node01 ~]# vim /etc/syslog-ng/syslog-ng.conf
......
source s_smem {
pipe("/data/kevin/mem.pipe");
};
source s_sredis {
pipe("/data/kevin/redis.pipe");
};
source s_slapd {
pipe("/data/kevin/slapd.pipe");
};
......
destination d_smem { udp(192.168.10.205 port(5514)); };
destination d_sredis { udp(192.168.10.205 port(5515)); };
destination d_slapd { udp(192.168.10.205 port(5516)); };
......
log { source(s_smem); destination(d_smem); };
log { source(s_sredis); destination(d_sredis); };
log { source(s_slapd); destination(d_slapd); };
创建管道文件
[root@web-node01 ~]# mkfifo /data/kevin/mem.pipe
[root@web-node01 ~]# mkfifo /data/kevin/redis.pipe
[root@web-node01 ~]# mkfifo /data/kevin/slapd.pipe
重启syslog-ng服务
[root@web-node01 ~]# /etc/init.d/syslog-ng restart
Stopping syslog-ng: [ OK ]
Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
Starting syslog-ng: Plugin module not found in 'module-path'; module-path='/lib64/syslog-ng', module='afsql'
[ OK ]
然后进行日志传输
[root@web-node01 ~]# tail -f /var/log/messages >> /data/kevin/mem.pipe &
[root@web-node01 ~]# tail -f /var/log/redis/redis.log >> /data/kevin/redis.pipe &
[root@web-node01 ~]# tail -f /var/log/slapd/slapd.log >> /data/kevin/slapd.pipe &
[root@web-node01 kevin]# ps -ef|grep "tail -f"
root 4296 4295 0 15:53 ? 00:00:00 tail -f /var/log/messages
root 4302 25044 0 15:54 pts/2 00:00:00 tail -f /etc/nginx/logs/access.log
root 4360 25044 0 15:54 pts/2 00:00:00 tail -f /var/log/redis/redis.log
root 4431 25044 0 15:54 pts/2 00:00:00 tail -f /var/log/slapd/slapd.log
3）最后去syslog-ng服务器查看，发现日志已经成功传输过来了！
[root@syslog-ng ~]# ll /data/syslog-ng
total 48
-rw-------. 1 root root 5062 Jul 4 15:54 kevin.log
-rw-------. 1 root root 30279 Jul 4 15:55 mem.log
-rw-------. 1 root root 984 Jul 4 15:54 redis.log
-rw-------. 1 root root 1049 Jul 4 15:54 slapd.log
[root@syslog-ng ~]# tail -f /data/syslog-ng/mem.log #如下日志的前面可以判断这些日志是从哪台客户机传过来的（web-node01这是客户机的主机名）
Jul 4 15:29:59 web-node01 openldap-slave Keepalived_vrrp[2637]: VRRP_Instance(VI_1) ignoring received advertisment...
Jul 4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: (VI_1): ip address associated with VRID 51 not present in MASTER advert : 192.168.10.208
Jul 4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: bogus VRRP packet received on eth0 !!!
Jul 4 15:30:01 web-node01 openldap-slave Keepalived_vrrp[2637]: VRRP_Instance(VI_1) ignoring received advertisment...
Jul 4 15:30:07 web-node01 openldap-slave Keepalived_vrrp[2637]: (VI_1): ip address associated with VRID 51 not present in MASTER advert : 192.168.10.208
[root@syslog-ng ~]# tail -f /data/syslog-ng/redis.log
Jul 4 15:54:19 web-node01 25274:S 07 May 10:37:15.851 * Background append only file rewriting started by pid 25277
Jul 4 15:54:19 web-node01 25274:S 07 May 10:37:15.910 * AOF rewrite child asks to stop sending diffs.
Jul 4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * Parent agreed to stop sending diffs. Finalizing AOF...
Jul 4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * Concatenating 0.00 MB of AOF diff received from parent.
Jul 4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * SYNC append only file rewrite performed
Jul 4 15:54:19 web-node01 25277:C 07 May 10:37:15.910 * AOF rewrite: 6 MB of memory used by copy-on-write
[root@syslog-ng syslog-ng]# tail -f slapd.log
May 22 16:20:13 web-node01 openldap-slave slapd[30022]: conn=1017 op=1 SRCH base="dc=kevin,dc=com" scope=2 deref=0 filter="(objectClass=*)"
May 22 16:20:13 web-node01 openldap-slave slapd[30022]: conn=1017 op=1 SRCH attr=* +
May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 fd=24 ACCEPT from IP=[::1]:60196 (IP=[::]:389)
May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 op=0 BIND dn="cn=Manager,dc=kevin,dc=com" method=128
May 22 16:38:00 web-node01 openldap-slave slapd[30022]: conn=1018 op=0 BIND dn="cn=Manager,dc=kevin,dc=com" mech=SIMPLE ssf=0
=======================温馨提示========================
在将客户机日志传输到远程syslog-ng服务器上后，为了方便查看日志是出于哪台客户机，需要在日志传输过程中进行打上标记。
比如在上面客户机传输nginx日志时打上标记，比如： 1）如果标记为web-node01-nginx.log，做法为： 在客户机上先创建管道文件，接着重启syslo-ng服务，然后再打标记，最后进行文件传输 [root@web-node01 ~]# mkfifo /data/kevin/log.pipe [root@web-node01 ~]# /etc/init.d/syslog-ng start [root@web-node01 ~]# sed -ri 's/(^.)/web-node01-nginx.log--\1/' /etc/nginx/logs/access.log [root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe & 查看客户机的/etc/nginx/logs/access.log日志，发现标记已经打上了 [root@web-node01 ~]# tail -f /etc/nginx/logs/access.log web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/a.txt" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - 然后去syslong-ng服务器端，查看传输过来的nginx日志，发现也打上了标记 [root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log Jul 4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - Jul 4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /favicon.ico HTTP/1.1" 404 571 "http://192.168.10.206:8080/a.txt" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - Jul 4 17:47:27 web-node01 web-node01-nginx.log--172.16.42.183 - [04/Jul/2018:16:52:10 +0800] "GET /a.txt HTTP/1.1" 200 1136 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - 2）标记为kevin-test-haha，做法为： [root@web-node01 ~]# sed -ri 's/(^.)/kevin-test-haha--\1/' /etc/nginx/logs/access.log [root@web-node01 ~]# tail -f /etc/nginx/logs/access.log >> /data/kevin/log.pipe & 查看客户机的/etc/nginx/logs/access.log日志，发现标记已经打上了 [root@web-node01 ~]# tail -f /etc/nginx/logs/access.log kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:22 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:23 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - kevin-test-haha--172.16.42.183 - [04/Jul/2018:17:50:43 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - 然后去syslong-ng服务器端，查看传输过来的nginx日志，发现也打上了标记 [root@syslog-ng ~]# tail -f /data/syslog-ng/kevin.log Jul 4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:22 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - Jul 4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:16:54:23 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - Jul 4 17:54:03 web-node01 kevin-test-haha--172.16.42.183 - [04/Jul/2018:17:50:43 +0800] "GET /a.txt HTTP/1.1" 304 0 "-" Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 - 0.000 - - - 3）其他日志打标记，做法和上面类似。 注意：最好不要打多次标记，否则日志里就会显示多次标记！
=====================补充扩展：syslog-ng知识详解====================
一、syslog-ng设计原则
syslog-ng替代syslog是基于以下的设计原则的：
- 通过正规表达式协助，除支持原facility/level方式，还支持内容过滤等以建立更好的消息过滤机制；
- 支持主机链，即使日志消息经过多重网络转发，仍可找到原发出主机的信息和整个消息链；
- 支持强大的自定义配置，并且清晰、明了。
二、syslog-ng架构
syslog-ng的配置基于下面的架构：
LOG STATEMENTS 『SOURCES － FILTERS － DESTINATIONS』
消息路径 『消息源 － 过滤器 － 目的站』
也就是说，通过定义多个消息源，把匹配上若干个过滤器的消息导向到指定的目的地，从而组成一个消息路径。
三、配置参数
1）消息源SOURCES
定义格式为：
source { sourcedriverparams; sourcedriverparams; ... };
含义：一个消息源的标识
sourcedriver：消息源驱动器，可以支持若干参数，并使用分号“；”隔离多个消息源驱动器
消息源驱动器有：
file (filename) ：从指定的文件读取日志信息
unix-dgram (filename) ：打开指定的SOCK_DGRAM模式的unix套接字，接收日志消息
unix-stream (filename) ：打开指定的SOCK_STREAM模式的unix套接字，接收日志消息
udp ( (ip),(port) ) ：在指定的UDP端口接收日志消息
tcp ( (ip),(port) ) ：在指定的TCP端口接收日志消息
sun-streams (filename) ：在solaris系统中，打开一个（多个）指定的STREAM设备，从其中读取日志消息
internal() ： syslog-ng内部产生的消息
pipe(filename),fifo(filename) ：从指定的管道或者FIFO设备，读取日志信息
例如：
source s_sys {
file ("/proc/kmsg" log_prefix("kernel: "));
unix-stream ("/dev/log");
internal();
# udp(ip(0.0.0.0) port(514)); #如果取消注释，则可以从udp的514端口获取消息
};
注意：
linux使用/dev/log作为SOCK_STREAM unix的套接字，BSD使用/var/run/log；参数需要使用括号括住。
2）过滤器 FILTERS
定义格式为：
filter { expression; };
含义：一个过滤器标识
expression：表达式
表达式支持：
逻辑操作符：and（和）、or（或）、not（非）；
函数：可使用正规表达式描述内容
过滤函数有：
引用
facility(,)：根据facility（设备）选择日志消息，使用逗号分割多个facility
level(,)：根据level（优先级）选择日志消息，使用逗号分割多个level，或使用“..”表示一个范围
program(regexp)：日志消息的程序名是否匹配一个正则表达式
host(regexp)：日志消息的主机名是否和一个正则表达式匹配
match(regexp)：对日志消息的内容进行正则匹配
filter()：调用另一条过滤规则并判断它的值
例如：
filter f_filter2 { level(info..emerg) and
not facility(mail,authpriv,cron); };
注意：
这里的level定义info，相当于syslog的.=info，并不包括更低的等级；
若需要包括更低的等级，请使用“..”表示一个等级范围；
另外，filter(DEFAULT)，用于捕获所有没有匹配上的日志消息。filter(*)是无效的。
3）目的地DESTINATIONS
定义格式为：
destination { destdriverparams; destdriverparams; ... ;};
含义：一个目的地的标识
destdriver：目的地驱动器
目的地驱动器有：
file (filename) ：把日志消息写入指定的文件
unix-dgram (filename) ：把日志消息写入指定的SOCK_DGRAM模式的unix套接字
unix-stream (filename) ：把日志消息写入指定的SOCK_STREAM模式的unix套接字
udp (ip),(port) ：把日志消息发送到指定的UDP端口
tcp (ip),(port) ：把日志消息发送到指定的TCP端口
usertty(username) ：把日志消息发送到已经登陆的指定用户终端窗口
pipe(filename),fifo(filename) ：把日志消息发送到指定的管道或者FIFO设备
program(parm) ：启动指定的程序，并把日志消息发送到该进程的标准输入
举例：
destination d_mesg { file("/var/log/messages"); };
destination d_syslog { udp ("192.168.228.225" port(514)); };
注意：
配合使用udp或tcp即可实现集中的日志服务器。注意，udp函数的写法上和消息源驱动器中的定义不同。
4）消息路径LOG STATEMENTS
定义格式为：
log { source S1; source S2; ... filter F1; filter F2; ... destination
D1; destination D2; ... };
把消息源、过滤器、消息目的组合起来就形成一条完整的指令。日志路径中的成员是顺序执行的。凡是来源于指定的消息源，匹配所有指定的过滤器，并送到指定的地址。
注意：
同样的，每条日志消息都会经过所有的消息路径，并不是匹配后就不再往下执行的，请留意。
四、选项参数
除了上述的消息路径定义外，syslog-ng还可以设定一些选项参数以优化其操作。
全局的选项参数，定义在配置文件的开头位置（yum install -y man）：
# man syslog-ng.conf
# man 8 syslog-ng
options { opt1; opt2; ... };
选项有：
chain_hostnames(yes|no) ：是否打开主机名链功能，打开后可在多网络段转发日志时有效
long_hostnames(yes|no) ： 是chain_hostnames的别名，已不建议使用
keep_hostname(yes|no) ： 是否保留日志消息中保存的主机名称，否时，总是使用来源主机来作重写日志的主机名
use_dns(yes|no) ： 是否打开DNS查询功能，应使用防火墙保护使用syslog-ng的节点安全，并确认所有主机都是可以通过dns解释的，否则请关闭该选项。
use_fqdn(yes|no) ： 是否使用完整的域名
check_hostname(yes|no) ： 是否检查主机名有没有包含不合法的字符
bad_hostname(regexp) ： 可通过正规表达式指定某主机的信息不被接受
dns_cache(yes|no) ： 是否打开DNS缓存功能
dns_cache_expire(n) ： DNS缓存功能打开时，一个成功缓存的过期时间
dns_cache_expire_failed(n) ： DNS缓存功能打开时，一个失败缓存的过期时间
dns_cache_size(n) ： DNS缓存保留的主机名数量
create_dirs(yes|no) ： 当指定的目标目录不存在时，是否创建该目录
dir_owner(uid) ： 目录的UID
dir_group(gid) ： 目录的GID
dir_perm(perm) ： 目录的权限，使用八进制方式标注，例如0644
owner(uid) ： 文件的UID
group(gid) ： 文件的GID
perm(perm) ： 文件的权限，同样，使用八进制方式标注
gc_busy_threshold(n) ： 当syslog-ng忙时，其进入垃圾信息收集状态的时间。一旦分派的对象达到这个数字，syslog-ng就启动垃圾信息收集状态。默认值是：3000。
gc_idle_threshold(n) ： 当syslog-ng空闲时，其进入垃圾信息收集状态的时间。一旦被分派的对象到达这个数字，syslog-ng就会启动垃圾信息收集状态，默认值是：100
log_fifo_size(n) ： 输出队列的行数
log_msg_size(n) ： 消息日志的最大值（bytes）
mark(n) ： 多少时间（秒）写入两行MARK信息供参考，目前没有实现
stats(n) ： 多少时间（秒）写入两行STATUS信息供，默认值是：600
sync(n) ： 缓存多少行的信息再写入文件中，0为不缓存，局部参数可以覆盖该值。
time_reap(n) ： 在没有消息前，到达多少秒，即关闭该文件的连接
time_reopen(n) ： 对于死连接，到达多少秒，会重新连接
use_time_recvd(yes|no) ： 宏产生的时间是使用接受到的时间，还是日志中记录的时间；建议使用R_的宏代替接收时间，S_的宏代替日志记录的时间，而不要依靠该值定义。
例如：
options {
sync (0);
time_reopen (10);
log_fifo_size (1000);
long_hostnames (off);
use_dns (no);
use_fqdn (no);
create_dirs (no);
keep_hostname (yes);
};
五、部分函数的参数
syslog-ng除了有全局选项参数外，不同的函数还可以定义其参数，其中包括：
1）扩展file的宏
HOST： 日志消息的源发主机名。如果日志消息穿过几个主机，并且chain_hostname（）功能已经打开，就使用第一个主机名。
FACILITY ： 日志消息来自的日志设备
PRIOPRITY/LEVEL ： 日志消息的优先级
PROGRAM ： 发送日志消息的程序
YEAR ： 发送日志消息的年份，这个宏既可以指定日志消息送出的时间，也可以指定日志消息收到的时间。这由use_time_recvd（）选项控制
MONTH ： 发送日志消息的月份
DAY ： 发送日志消息的日子
HOUR ： 小时
MIN ： 分钟
SEC ： 秒
2）file的参数
例如：log_file_size（）、sync（）、owner（）、perm（）等，请参考上面的全局设定
3）tcp和upd的参数
ip（xxx.xxx.xxx.xxx）：定义绑定的IP地址
port（n）：定义绑定的端口
max-connections（n）：定义最大连接数
注意：
TCP基于连接方式传输，不会造成日志丢失，而UDP则不同。但因为传统的syslog基于UDP的514端口，所以，UDP方式也经常会使用到。
另外，514也是rshell的默认端口，请注意冲突。
举例：
destination d_mail { file("/var/log/maillog" sync(10)); };
这里定义的sync(10)会覆盖全局配置，表示若写入的日志数量达到10，才写入maillog文件。
六、关于垃圾收集状态
当满足一定的条件，syslog-ng即会进入垃圾收集状态，而暂时不再接受日志信息。这时，会造成非连接的传输协议的日志丢失（例如UDP）。
选项可以控制：
gc_idle_threshold(n) ：
意思是，一旦被分派的对象到达这个数字，并且当 syslog-ng空闲时（100微秒内没有日志消息到达）。此时，syslog-ng就会启动垃圾信息收集状态。
已分配的对象可通过-v命令行参数指定其的最小值。而syslog-ng这个值应该比较小，但比已分配的对象要大即可。
例如，空闲状态，syslog-ng会显示：
Nov 13 16:35:35 syslogng syslog-ng[4510]: STATS: dropped 0
Nov 13 16:45:35 syslogng syslog-ng[4510]: STATS: dropped 0
当忙时：
gc_busy_threshold(n) ：当syslog-ng忙时，一旦分派的对象达到这个数字，syslog-ng就进入垃圾信息收集状态的时间。该值应该比较高，以保证正常情况下不会打断日志消息的收取。
*************** 当你发现自己的才华撑不起野心时，就请安静下来学习吧！***************
