CentOS7日志文件分析
一、Linux日志系统简介
日志对于系统的安全来说非常重要，它记录了系统每天发生的各种各样的事情，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。日志主要的功能是审计和监测。它还可以实时地监测系统状态，监测和追踪侵入者。
配置好的Linux的日志非常强大。对于Linux系统而言，所有的日志文件都在/var/log下。默认情况下，Linux的日志文件已经足够强大，但没有记录FTP的活动。用户可以通过修改/etc/ftpacess让系统记录FTP的一切活动。
Linux系统一般有3个主要的日志子系统：连接时间日志、进程统计日志和错误日志。
连接时间日志
连接时间日志由多个程序执行，把记录写入到/var/og/wtmp和/var/run/utmp。ogin等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。
进程统计日志
进程统计日志由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个记录。进程统计的目的是为系统中的基本服务提供命令使用统计。
错误日志
错误日志由sysogd(8)执行。各种系统守护进程、用户程序和内核通过sysog(3)向文件/var/og/messages报告值得注意的事件。另外还有许多UNIX类程序创建日志，像HTTP和FTP这样提供网络服务的服务器也有详细的日志。
成功地管理任何系统的关键之一，是要知道系统中正在发生什么事。Linux 中提供了异常日志，并且日志的细节是可配置的。Linux 日志都以明文形式存储，所以用户不需要特殊的工具就可以搜索和阅读它们。还可以编写脚本，来扫描这些日志，并基于它们的内容去自动执行某些功能。Linux 日志存储在 /var/log 目录中。这里有几个由系统维护的日志文件，但其他服务和程序也可能会把它们的日志放在这里。大多数日志只有root账户才可以读，不过修改文件的访问权限就可以让其他人可读。
二、Linux日志分析详细部分
Linux常见的日志文件详述如下 centos redhat 1、/var/log/boot.log（自检过程） 2、/var/log/cron （crontab守护进程crond所派生的子进程的动作） 3、/var/log/maillog （发送到系统或从系统发出的电子邮件的活动） 4、/var/log/syslog （它只记录警告信息，常常是系统出问题的信息，所以更应该关注该文件） 要让系统生成syslog日志文件， 在/etc/rsyslog.conf文件中加上：*.warning /var/log/syslog 该日志文件能记录当用户登录时login记录下的错误口令、Sendmail的问题、su命令执行失败等信息 5、/var/run/utmp 该日志文件需要使用lastlog命令查看 （该日志文件记录有关当前登录的每个用户的信息） 6、/var/log/wtmp （该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件） last命令就通过访问这个文件获得这些信息 7、/var/log/messages -- 记录系统或服务程序运行的状态信息 和 错误信息 8、/var/log/secure（安全） -- 用户登录信息 作用：可以进行监控文件的信息，检查是否有过多失败记录 ###安装相应的服务产生的日志 1、/usr/local/apache/logs/error_log（它是记录apache的日志目录) 2、/var/log/httpd/error_log （它是记录http的日志目录) 3、/var/log/xferlog （该日志文件记录FTP会话，可以显示出用户向FTP服务器或从服务器拷贝了什么文件）
Linux常见的日志文件详述如下
/var/log/boot.log
该文件记录了系统在引导过程中发生的事件，就是Linux系统开机自检过程显示的信息。
/var/log/cron
该日志文件记录crontab守护进程crond所派生的子进程的动作，前面加上用户、登录时间和PID，以及派生出的进程的动作。CMD的一个动作是cron派生出一个调度进程的常见情况。REPLACE（替换）动作记录用户对它的cron文件的更新，该文件列出了要周期性执行的任务调度。RELOAD动作在REPLACE动作后不久发生，这意味着cron注意到一个用户的cron文件被更新而cron需要把它重新装入内存。该文件可能会查到一些反常的情况。
/var/log/maillog
该日志文件记录了每一个发送到系统或从系统发出的电子邮件的活动。它可以用来查看用户使用哪个系统发送工具或把数据发送到哪个系统。下面是该日志文件的片段：
Sep 4 17:23:52 UNIX sendmail[1950]: g849Npp01950: from=root, size=25,, nrcpts=1, msgid=<200209040923.g849Npp01950@redhat.pfcc.com.cn>,relay=root@localhostSep 该日志文件是许多进程日志文件的汇总，从该文件可以看出任何入侵企图或成功的入侵。如以下几行：
Sep 3 08:30:17 UNIX login[1275]: FAILED LOGIN 2 FROM (null) FOR suying, Authentication failureSep 4 17:40:28 UNIX — suying[2017]: LOGIN ON pts/1 BY suying FROMfcceec.www.ec8.pfcc.com.cnSep 4 17:40:39 UNIX su(pam_unix)[2048]: session opened for user root by suying(uid=999)
该文件的格式是每一行包含日期、主机名、程序名，后面是包含PID或内核标识的方括号、一个冒号和一个空格，最后是消息。该文件有一个不足，就是被记录的入侵企图和成功的入侵事件，被淹没在大量的正常进程的记录中。但该文件可以由/etc/syslog文件进行定制。由/etc/syslog.conf配置文件决定系统如何写入/var/messages。有关如何配置/etc/syslog.conf文件决定系统日志记录的行为，将在后面详细叙述。
/var/log/syslog
默认RedHat Linux不生成该日志文件，但可以配置/etc/syslog.conf让系统生成该日志文件。它和/etc/log/messages日志文件不同，它只记录警告信息，常常是系统出问题的信息，所以更应该关注该文件。要让系统生成该日志文件，在/etc/syslog.conf文件中加上：*.warning /var/log/syslog 该日志文件能记录当用户登录时login记录下的错误口令、Sendmail的问题、su命令执行失败等信息。下面是一条记录：
Sep 6 16:47:52 UNIX login(pam_unix)[2384]: check pass; user unknown/var/log/secure该日志文件记录与安全相关的信息。该日志文件的部分内容如下：Sep 4 16:05:09 UNIX xinetd[711]: START: ftp pid=1815 from=127.0.0.1Sep 4 16:05:09 UNIX xinetd[1815]: USERID: ftp OTHER :rootSep 4 16:07:24 UNIX xinetd[711]: EXIT: ftp pid=1815 duration=135(sec)Sep 4 16:10:05 UNIX xinetd[711]: START: ftp pid=1846 from=127.0.0.1Sep 4 16:10:05 UNIX xinetd[1846]: USERID: ftp OTHER :rootSep 4 16:16:26 UNIX xinetd[711]: EXIT: ftp pid=1846 duration=381(sec)Sep 4 17:40:20 UNIX xinetd[711]: START: telnet pid=2016 from=10.152.8.2/var/log/lastlog
该日志文件记录最近成功登录的事件和最后一次不成功的登录事件，由login生成。在每次用户登录时被查询，该文件是二进制文件，需要使用lastlog命令查看，根据UID排序显示登录名、端口号和上次登录时间。如果某用户从来没有登录过，就显示为”**Never logged in**”。该命令只能以root权限执行。简单地输入lastlog命令后就会看到类似如下的信息：
Username Port From Latestroot tty2 Tue Sep 3 08:32:27 +0800 2002bin **Never logged in**daemon **Never logged in**adm **Never logged in**lp **Never logged in**sync **Never logged in**shutdown **Never logged in**halt **Never logged in**mail **Never logged in**news **Never logged in**uucp **Never logged in**operator **Never logged in**games **Never logged in**gopher **Never logged in**ftp ftp UNIX Tue Sep 3 14:49:04 +0800 2002nobody **Never logged in**nscd **Never logged in**mailnull **Never logged in**ident **Never logged in**rpc **Never logged in**rpcuser **Never logged in**xfs **Never logged in**gdm **Never logged in**postgres **Never logged in**apache **Never logged in**lzy tty2 Mon Jul 15 08:50:37 +0800 2002suying tty2 Tue Sep 3 08:31:17 +0800 2002
系统账户诸如bin、daemon、adm、uucp、mail等决不应该登录，如果发现这些账户已经登录，就说明系统可能已经被入侵了。若发现记录的时间不是用户上次登录的时间，则说明该用户的账户已经泄密了。
/var/log/wtmp
该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件。因此随着系统正常运行时间的增加，该文件的大小也会越来越大，增加的速度取决于系统用户登录的次数。该日志文件可以用来查看用户的登录记录，last命令就通过访问这个文件获得这些信息，并以反序从后向前显示用户的登录记录，last也能根据用户、终端 tty或时间显示相应的记录。
命令last有两个可选参数：
last -u 用户名 显示用户上次登录的情况。
last -t 天数 显示指定天数之前的用户登录情况。
/var/run/utmp
该日志文件记录有关当前登录的每个用户的信息。因此这个文件会随着用户登录和注销系统而不断变化，它只保留当时联机的用户记录，不会为用户保留永久的记录。系统中需要查询当前用户状态的程序，如 who、w、users、finger等就需要访问这个文件。该日志文件并不能包括所有精确的信息，因为某些突发错误会终止用户登录会话，而系统没有及时更新 utmp记录，因此该日志文件的记录不是百分之百值得信赖的。
以上提及的3个文件（/var/log/wtmp、/var/run/utmp、/var/log/lastlog）是日志子系统的关键文件，都记录了用户登录的情况。这些文件的所有记录都包含了时间戳。这些文件是按二进制保存的，故不能用less、cat之类的命令直接查看这些文件，而是需要使用相关命令通过这些文件而查看。其中，utmp和wtmp文件的数据结构是一样的，而lastlog文件则使用另外的数据结构，关于它们的具体的数据结构可以使用man命令查询。
每次有一个用户登录时，login程序在文件lastlog中查看用户的UID。如果存在，则把用户上次登录、注销时间和主机名写到标准输出中，然后login程序在lastlog中记录新的登录时间，打开utmp文件并插入用户的utmp记录。该记录一直用到用户登录退出时删除。utmp文件被各种命令使用，包括who、w、users和finger。
下一步，login程序打开文件wtmp附加用户的utmp记录。当用户登录退出时，具有更新时间戳的同一utmp记录附加到文件中。wtmp文件被程序last使用。
/var/log/xferlog
该日志文件记录FTP会话，可以显示出用户向FTP服务器或从服务器拷贝了什么文件。该文件会显示用户拷贝到服务器上的用来入侵服务器的恶意程序，以及该用户拷贝了哪些文件供他使用。
该文件的格式为：第一个域是日期和时间，第二个域是下载文件所花费的秒数、远程系统名称、文件大小、本地路径名、传输类型（a：ASCII，b：二进制）、与压缩相关的标志或tar，或”_”（如果没有压缩的话）、传输方向（相对于服务器而言：i代表进，o代表出）、访问模式（a：匿名，g：输入口令，r：真实用户）、用户名、服务名（通常是ftp）、认证方法（l：RFC931，或0），认证用户的ID或”*”。下面是该文件的一条记录：
Wed Sep 4 08:14:03 2002 1 UNIX 275531 /var/ftp/lib/libnss_files-2.2.2.so b _ o a -root@UNIX ftp 0 * c/var/log/kernlog 4 17:23:55 UNIX sendmail[1950]: g849Npp01950: to=lzy@fcceec.net, ctladdr=root (0/0), delay=00:00:04, xdelay=00:00:03, mailer=esmtp, pri=30025, relay=fcceec.net. [10.152.8.2], dsn=2.0.0, stat=Sent (Message queued)/var/log/messages
三、Linux日志切割
常见的两种方法：利用脚本实现切割，另一个是利用专用文件切割程序--logrotate。这里以nginx日志文件为例子,实现nginx日志文件定时切割处理。
日志切割方法一: 利用脚本实现切割 #!/bin/bash mv /var/log/nginx/access.log /var/log/nginx/access_$(date +%F).log systemctl restart nginx
日志切割方法二: 利用专用文件切割程序--logrotate vim /etc/logrotate.conf # rotate log files weekly weekly --- 定义默认日志切割的周期 # keep 4 weeks worth of backlogs rotate 4 --- 定义只保留几个切割后的文件 # create new (empty) log files after rotating old ones create --- 创建出一个相同的源文件 # use date as a suffix of the rotated file dateext --- 定义角标(扩展名称信息) # uncomment this if you want your log files compressed #compress --- 是否对切割后的文件进行压缩处理 # RPM packages drop log rotation information into this directory include /etc/logrotate.d --- 加载包含/etc/logrotate.d/目录中文件配置 # no packages own wtmp and btmp -- we'll rotate them here /var/log/wtmp { --- 单独对某个文件进行切割配置（对wtmp文件切割） monthly create 0664 root utmp minsize 1M --- 最小大小为1M,小于1M不进行切割 rotate 1 } /var/log/btmp { --- 单独对某个文件进行切割配置（对btmp文件切割） missingok monthly create 0600 root utmp rotate 1 }
[root@qd-vpc-op-consumer01 ~]# cat /app/script/log_rotate.sh #!/bin/sh function rotate() { logs_path=$1 echo Rotating Log: $1 cp ${logs_path} ${logs_path}.$(date -d "yesterday" +"%Y%m%d") > ${logs_path} rm -f ${logs_path}.$(date -d "7 days ago" +"%Y%m%d") } for i in $* do rotate $i done -------------------------------------------------------------------------------------------------------------- 每天定时切割日志的任务制定（比如对python的一个业务/data/log/xcspam/下的日志进行切割，0K的日志不进行切割）： [root@qd-vpc-op-consumer01 ~]# crontab -e #xcspam 日志切割 30 0 * * * find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh 手动执行切割： [root@qd-vpc-op-consumer01 ~]# find /data/log/xcspam/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh 切割后的日志效果： [root@qd-vpc-op-consumer01 ~]# ls /data/log/xcspam/ xcspam_error.log xcspam_error.log-20170926 -------------------------------------------------------------------------------------------------------------- 比如对maridb日志进行切割 [root@qd-vpc-op-consumer01 ~]# crontab -e #xcspam 日志切割 30 0 * * * find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh [root@qd-vpc-op-consumer01 ~]# find /var/log/mariadb/ -size +0 -name '*.log' | xargs /app/script/log_rotate.sh [root@qd-vpc-op-consumer01 ~]# ll /var/log/mariadb/ 总用量 8 -rw-r-----. 1 mysql mysql 0 9月 17 20:31 mariadb.log -rw-r-----. 1 root root 4532 9月 17 20:31 mariadb.log.20170916 --------------------------------------------------------------------------------------------------------------
