Linux 应急响应流程及实战案例

在企业发生黑客入侵、系统崩溃或其他影响业务正常运行的安全事件时，需要立即采取行动，使企业的网络信息系统能够在最短时间内恢复正常工作。同时，还需要进一步追踪入侵来源，还原入侵事故的过程，并提供解决方案和防范措施，以避免或减少企业的经济损失。

针对常见的攻击事件，我们通过结合工作中应急响应事件的分析和解决方法，总结出了一些用于排查 Linux 服务器入侵的思路。

一：入侵排查思路

一、账号安全

基本用法:

1、用户信息文件 /etc/passwd

root:x\:0:0:root:/root:/bin/bash 
account:password:UID:GID:GECOS:directory:shell 
# 用户名:密码:用户ID:组ID:用户说明:家目录:登陆之后的shell

注意:无密码只能本机登陆，不允许远程登陆

2、用户密码文件 /etc/shadow

root:$1$QArexmZv$TiU0APzjmU5hHtLzb0uLu.:18947:0:99999:7:::用户名:加密后的密码:最后一次密码修改日期:两次密码的修改时间间隔: 密码有效期:密码修改到期到的警告天数:密码过期后的宽限天数:账号失效时间:保留

3、几个常用命令

who 查看当前登录用户(tty 本地登陆 pts 远程登录)
w 查看系统信息，查看当前时间下用户的行为
uptime 查看登陆多久、多少用户，负载

1、查询特权用户 (uid 为 0)

[root@duidian ~]# awk -F: '$3==0{print $1}' /etc/passwd

2、查看可以远程登录的帐号情况

[root@duidian ~]# awk '/$1|$6/{print $1}' /etc/shadow

3、除 root 帐号外，其他帐号是否存在 sudo 权限。如非管理需要，普通帐号应删除 sudo 权限

[root@duidian ~]# more /etc/sudoers | grep -v "^#|^$" | grep "ALL=(ALL)"
root    ALL=(ALL)       ALL
%wheel  ALL=(ALL)       ALL
# %wheel        ALL=(ALL)       NOPASSWD: ALL
duidian ALL=(ALL) NOPASSWD: ALL

4、禁用或删除多余及可疑的帐号

usermod -L user  禁用帐号，帐号无法登录，/etc/shadow 第二栏为!开头的用户
userdel user  删除 user 用户
userdel -r user  将删除 user 用户，并且将/home 目录下的 user目录一并删除

二、历史命令

基本使用:

通过 .bash_history 查看帐号执行过的系统命令

1、查看历史命令的命令

histroy

2、打开 /home 各帐号目录下的 .bash_history，查看对应普通帐号的历史命令

配置历史的命令增加登录的 IP 地址以及执行命令时间等信息:

保存 1 万条命令

 sed -i 's/^HISTSIZE=1000/HISTSIZE=10000/g' /etc/profile

在 /etc/profile 的文件尾部添加如下行数配置信息:

######jiagu history xianshi#########
USER_IP=who-uam i 2>/dev/null | awk'{print $NF}'| sed-e's/[()]//g' 
if[ "$USER_IP"=""];then
  USER_IP=hostname
fi
export HISTTIMEFORMAT="%F %T $USER_IPwhoami " 
shopt-shistappend 
export PROMPT_COMMAND="history -a" 
##############  jiagu history ##############

执行source /etc/profile让配置生效

生成效果:

2023-07-10 19:45:39 192.168.204.1 root source /etc/profile

3、清除历史操作命令:

history -c

但此命令并不会清除保存在文件中的记录，因此需要手动删除文件中的记录。

进入用户目录下:

cat .bash_history >> history.txt

三、端口

使用 netstat 网络连接命令，分析可疑端口、IP、PID

netstat -antlp|more

查看下 pid 所对应的进程文件路径，

ls -l  /proc/$PID/exe  
 file /proc/$PID/exe  
 # $PID 为对应的 pid 号

四、进程

使用 ps 命令来分析进程

ps aux | grep pid

五、开机启动项

基本使用:

系统运行级别示意图:

shutdown
reboot

运行级别	含义
0	关机
1	单用户模式，主要用户系统修复
2	不完全的命令模式，不含NFS服务
3	完全的命令行模式
4	系统保留
5	图形模式

查看运行级别命令

runlevel

系统默认允许级别

vi /etc/inittab
id=3:initdefault # 系统开机后直接进入哪个运行级别

开机启动配置文件

/etc/rc.local
/etc/rc.d/rc[0~6].d

例子: 当我们需要开机启动自己的脚本时，只需要将可执行脚本丢在 /etc/init.d 目录下，然后在 /etc/rc.d/rc*.d 中建立软链接即可

root@duidian ~]# ln -s /etc/init.d/sshd /etc/rc.d/rc3.d/S100ssh

此处 sshd 是具体服务的脚本文件，S100ssh 是其软链接，S 开头代表加载时自启动;如果是 K 开头的脚本文件，代表运行级别加载时需要关闭的。

启动项文件:

more /etc/rc.local 
/etc/rc.d/rc[0~6].d 
ls -l /etc/rc.d/rc3.d/

六、定时任务

基本使用

1、利用 crontab 创建计划任务

# 列出当前用户 cron 服务的详细内容
crontab -l

Tips: 默认编写的 crontab 文件会保存在 ( /var/spool/cron/用户名例如: /var/spool/cron/root)

# 删除每个用户 cront 任务 (谨慎:删除所有的计划任务)
crontab -r  

# 编辑当前用户的 crontab 计划任务
crontab -e  

如:
# 每分钟写入文件
*/1 * * * * echo "hello world" >> /tmp/test.txt

2、利用 anacron 实现异步定时任务调度

每天运行 /home/backup.sh 脚本:

vi /etc/anacrontab
@daily 10 example.daily /bin/bash /home/backup.sh

当机器在 backup.sh 期望被运行时是关机的，anacron 会在机器开机十分钟之后运行它，而不用再等待 7 天。

入侵排查：

重点关注以下目录中是否存在恶意脚本

/var/spool/cron/*
/etc/crontab
/etc/cron.d/*
/etc/cron.daily/*
/etc/cron.hourly/*
/etc/cron.monthly/*
/etc/cron.weekly/
/etc/anacrontab
/var/spool/anacron/*

小技巧:

more /etc/cron.daily/* 查看目录下所有文件

七、服务

服务自启动

第一种修改方法:

chkconfig [ --level 运行级别 ] [ 独立服务名 ] [ on | off ]
chkconfig  –level 2345 httpd on   开启自启动
chkconfig httpd on ( 默认 level 是 2345 )

第二种修改方法:

编辑 /etc/re.d/rc.local 文 件，加入下面的内容
/etc/init.d/httpd start

第三种修改方法:

使用 ntsysv 命令管理自启动，可以管理独立服务和 xinetd 服务。

入侵排查

1、查询已安装的服务:

RPM 包安装的服务:

chkconfig --list  查看服务自启动状态，可以看到所有的 RPM 包安装的服务
ps -aux | grep crond  查看当前服务

系统在 3 与 5 级别下的启动项

# 中文环境
chkconfig --list | grep "3:启用|5:启用" 
 
# 英文环境
chkconfig --list | grep "3:on|5:on"

源码包安装的服务：

查看服务安装位置一般是在 /user/local/

 service httpd start

搜索 /etc/rc.d/init.d/ 查看是否存在

八、系统日志

日志默认存放位置 :

/var/log/

查看日志配置情况 :

more /etc/rsyslog.conf

日志分析技巧:

1、定位有多少 IP 在爆破主机的 root 帐号:

grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more

#定位有哪些 IP 在爆破: 
grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[0 1]?[0-9][0-9]?)"|uniq -c 

# 爆破用户名字典是什么?
grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr

2、登录成功的 IP 有哪些:

grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more 

# 登录成功的日期、用户名、IP:
grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}'

3、增加一个用户 kali 日志:

Jul1000:12:15 localhostuseradd[2382]: newgroup: na me=kali, GID=1001 Jul1000:12:15localhostuseradd[2382]: newuser: nam e=kali, UID=1001, GID=1001, home=/home/kali , shell=/bin/bash
Jul1000:12:58 localhostpasswd: pam_unix(passwd:cha uthtok): passwordchangedforkali 

# grep"useradd"/var/log/secure

4、删除用户 kali 日志:

Jul1000:14:17 localhostuserdel[2393]: deleteuser'k ali'
Jul1000:14:17 localhostuserdel[2393]: removedgroup 'kali' ownedby'kali' 
Jul1000:14:17 localhostuserdel[2393]: removedshado wgroup'kali' ownedby'kali' 

# grep"userdel"/var/log/secure

5、su 切换用户:

Jul 10 00:38:13 localhost su: pam_unix(su-l:session): session opened for user good by root(uid=0)

# sudo 授权执行:
sudo -lJul 
10 00:43:09 localhost sudo: good : TTY=pts/4 ; PWD=/home/good ; USER=root ; COMMAND=/sbin/shutdown -r now

二: 应急响应实战之 SSH 暴力破解

SSH是一种协议，专门为远程登录会话和其他网络服务提供安全性。它被广泛认可为一种可靠的安全协议，其主要功能是加密远程登录会话数据，确保数据传输的安全性。然而，如果SSH口令的长度太短或者复杂度不够，比如仅包含数字或仅包含字母等，那么可能容易受到攻击者的攻击。一旦攻击者获取了这样的口令，他们就可以直接登录系统并获得控制服务器的全部权限。在使用SSH时，我们应该选择足够长且复杂度较高的口令，以提高系统的安全性。

应急场景

某天，网站管理员登录服务器进行巡检时，发现端口连接里存在两条可疑的连接记录，如下图:

1、TCP 初始化连接三次握手吧:发 SYN 包，然后返回 SYN/ACK 包，再发 ACK 包，连接正式建立。但是这里有点出入，当请求者收到 SYS/ACK 包后，就开始建立连接了，而被请求者第三次握手结束后才建立连接。

2、客户端 TCP 状态迁移:

CLOSED -> SYN_SENT -> ESTABLISHED -> FIN_WAIT_1 -> FIN_WAIT_2 -> TIME_WAIT -> CLOSED

# 服务器 TCP 状态迁移: 
CLOSED -> LISTEN -> SYN recv -> ESTABLISHED -> CLOSE_WAIT -> LAST_ACK -> CLOSED

3、当客户端开始连接时，服务器还处于 LISTENING，客户端发一个 SYN 包后，服务端接收到了客户端的 SYN 并且发送了 ACK 时，服务器处于 SYN_RECV 状态，然后并没有再次收到客户端的 ACK 进入 ESTABLISHED 状态，一直停留在 SYN_RECV 状态。

在这里，SSH(22)端口，两条外网 IP 的 SYN_RECV 状态连接，直觉告诉了管理员，这里一定有什么异常。

日志分析

SSH 端口异常，我们首先有必要先来了解一下系统账号情况:

A、系统账号情况

1、除 root 之外，是否还有其它特权用户 (uid 为 0)

[root@duidian ~]# awk -F: '$3==0{print $1}' /etc/passwd 
root

2、可以远程登录的帐号信息

[root@duidian ~]# awk '/$1|$6/{print $1}' /etc/shadow 
root:$6$38cKfZDjsTiUe58V$FP.UHWMObqeUQS1Z2KRj/4EEcOPi.6d1XmK HgK3j3GY9EGvwwBei7nUbbqJC./qK12HN8jFuXOfEYIKLID6hq0::0:99999:7: ::

我们可以确认目前系统只有一个管理用户 root。

接下来，我们想到的是 /var/log/secure，这个日志文件记录了验证和授权方面的信息，只要涉及账号和密码的程序都会记录下来。

B、确认攻击情况:

1、统计了下日志，发现大约有 125284 次登录失败的记录，确认了服务器在遭受暴力破解

[root@duidian ~]# grep -o "Failed password" /var/log/secure|uniq -c 
125284 Failed password

2、输出登录爆破的第一行和最后一行，确认爆破时间范围:

[root@duidian ~]# grep "Failed password" /var/log/secure|head -1
Jul 11 20:14:59 localhost sshd[14323]: Failed password for invalid user qwe from 111.13.xxx.xxx port 1503 ssh2

[root@duidian ~]# grep "Failed password" /var/log/secure|tail -1
Jul 14 12:37:21 localhost sshd[2654]: Failed password for root from 111.13.xxx.xxx port 13068 ssh2

3、进一步定位有哪些 IP 在爆破?

[root@duidian ~]# grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?). (25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)" |uniq -c | sort -nr
12622 23.91.xxx.xxx 8942 114.104.xxx.xxx 8122 111.13.xxx.xxx 7525 123.59.xxx.xxx ...................

4、爆破用户名字典都有哪些?

[root@duidian ~]# grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr
9402 root 
3264 invalid user oracle 
1244 invalid user admin
1024 invalid user user 
.....................

C、管理员最近登录情况:

1、登录成功的日期、用户名、IP:

[root@duidian ~]# grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}' 
Jul 9 09:38:19 root 192.168.13.100
Jul 9 14:55:56 root 192.168.13.100
Jul 10 08:54:56 root 192.168.13.100
Jul 10 16:25:39 root 192.168.13.100
............................

通过登录日志文件分析，并未发现异常用户的登录时间和登录 IP。

2、顺便统计一下登录成功的 IP 有哪些:

[root@duidian ~]# grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more
27 192.168.14.1

经过日志分析发现，攻击者采用了大量的用户名进行暴力破解的攻击。然而从近期系统管理员的登录记录来看，并没有发现异常登录情况。因此，我们需要进一步对网站服务器进行入侵排查，具体的细节不在此处展开。

处理措施

SSH 暴力破解其实十分普遍，如何保护服务器免遭暴力破解攻击，总结了下面几种措施:

1、禁止对公网开放管理端口，若必须开放应限定管理 IP 地址并加强口令安全审计(口令长度不低于 8 位，由数字、大小写字母、特殊字符等至少两种以上组合构成)。

2、更改服务器 ssh 远程端口。

3、部署入侵安全检测设备，增强安全防护。

三: 应急响应实战之短连接

短连接（Short Connection）是相对于长连接而言的概念。它指的是在数据传送过程中，只有在需要发送数据时才建立一个连接，并在数据发送完成后断开此连接。换句话说，每次连接只完成一个业务的发送。在系统维护中，很难直观地觉察到短连接的存在，通常需要依靠网络安全设备或抓包分析来才能发现。

应急场景

网络管理员在出口 WAF 检测到有台服务器在不断向香港IP发起请求，感觉很奇怪，赶紧登录服务器排查，想要找到发起短连接的进程。

日志分析

登录服务器查看端口和进程，但都没发现发现服务器异常，但是在多次刷新查看端口连接时，可以查看连接。有时候一直刷这条命令好十几次才会出现，像这种的短连接极难捕捉到对应的进程和源文件。

手动捕捉很难追踪，于是动手写了一个小脚本来捕捉短连接对应的 pid 和源文件。

脚本文件如下:


#!/bin/bash 
ip=118.184.15.40 
i=1
while:
do 
  tmp=netstat -anplt|grep $ip|awk -F'[/]''{print $1}'|awk '{print $7}' 
  #echo $tmp 
  if test -z "$tmp" then 
    ((i=i+1))
  else 
    for pid in$ tmp; do 
      echo "PID: " ${pid} 
      result=`ls -lh /proc/$pid | grep exe` echo "Process: " ${result}
      kill -9 $pid 
    done 
    break 
  fi
done 

echo "Total number of times: "${i}

运行结果如下:

跑了三次脚本，可以发现短连接每次发起的进程 Pid 一直在变，但已经捕捉到发起该异常连接的进程源文件为 /usr/lib/nfsiod

小结

本文对短连接的概念进行了简要介绍，并提供了捕捉短连接源文件的技巧。从安全管理员的角度出发，应该加强对网络安全设备的管理，通过在网络层级上发现那些在系统层面很难被觉察到的安全威胁。

posted @ 2024-03-12 10:07 寻梦99 阅读(493) 评论(0) 收藏举报

刷新页面返回顶部

Linux 应急响应流程及实战案例

Linux 应急响应流程及实战案例

一、账号安全

1、查询特权用户 (****uid 为 0)

2、查看可以远程登录的帐号情况

3、除 root 帐号外，其他帐号是否存在 sudo 权限。如非管理需要，普通帐号应删除 sudo 权限

4、禁用或删除多余及可疑的帐号

二、历史命令

三、端口

四、进程

五、开机启动项

六、定时任务

1、利用 crontab 创建计划任务

2、利用 anacron 实现异步定时任务调度

入侵排查：

七、服务

服务自启动

入侵排查

八、系统日志

日志分析技巧:

二: 应急响应实战之 SSH 暴力破解

应急场景

日志分析

A、系统账号情况

B、确认攻击情况:

C、管理员最近登录情况:

** **

三: 应急响应实战之短连接

日志分析

小结

1、查询特权用户 (uid 为 0)