lsof结合netstat的运用；
..............
http://www.cnblogs.com/ggjucheng/archive/2012/01/08/2316661.html
简介
Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。
输出信息含义
执行netstat后，其输出结果为
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 2 210.34.6.89:telnet 210.34.6.96:2873 ESTABLISHED
tcp 296 0 210.34.6.89:1165 210.34.6.84:netbios-ssn ESTABLISHED
tcp 0 0 localhost.localdom:9001 localhost.localdom:1162 ESTABLISHED
tcp 0 0 localhost.localdom:1162 localhost.localdom:9001 ESTABLISHED
tcp 0 80 210.34.6.89:1161 210.34.6.10:netbios-ssn CLOSE
Active UNIX domain sockets (w/o servers)
Proto RefCnt Flags Type State I-Node Path
unix 1 [ ] STREAM CONNECTED 16178 @000000dd
unix 1 [ ] STREAM CONNECTED 16176 @000000dc
unix 9 [ ] DGRAM 5292 /dev/log
unix 1 [ ] STREAM CONNECTED 16182 @000000df
从整体上看，netstat的输出结果可以分为两个部分：
一个是Active Internet connections，称为有源TCP连接，其中"Recv-Q"和"Send-Q"指%0A的是接收队列和发送队列。这些数字一般都应该是0。如果不是则表示软件包正在队列中堆积。这种情况只能在非常少的情况见到。
另一个是Active UNIX domain sockets，称为有源Unix域套接口(和网络套接字一样，但是只能用于本机通信，性能可以提高一倍)。
Proto显示连接使用的协议,RefCnt表示连接到本套接口上的进程号,Types显示套接口的类型,State显示套接口当前的状态,Path表示连接到套接口的其它进程使用的路径名。
常见参数
-a (all)显示所有选项，默认不显示LISTEN相关
-t (tcp)仅显示tcp相关选项
-u (udp)仅显示udp相关选项
-n 拒绝显示别名，能显示数字的全部转化成数字。
-l 仅列出有在 Listen (监听) 的服務状态
-p 显示建立相关链接的程序名
-r 显示路由信息，路由表
-e 显示扩展信息，例如uid等
-s 按各个协议进行统计
-c 每隔一个固定时间，执行该netstat命令。
提示：LISTEN和LISTENING的状态只有用-a或者-l才能看到
实用命令实例
1. 列出所有端口 (包括监听和未监听的)
列出所有端口 netstat -a
# netstat -a | more
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 localhost:30037 *:* LISTEN
udp 0 0 *:bootpc *:*
Active UNIX domain sockets (servers and established)
Proto RefCnt Flags Type State I-Node Path
unix 2 [ ACC ] STREAM LISTENING 6135 /tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 5140 /var/run/acpid.socket
列出所有 tcp 端口 netstat -at
# netstat -at
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 localhost:30037 *:* LISTEN
tcp 0 0 localhost:ipp *:* LISTEN
tcp 0 0 *:smtp *:* LISTEN
tcp6 0 0 localhost:ipp [::]:* LISTEN
列出所有 udp 端口 netstat -au
# netstat -au
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
udp 0 0 *:bootpc *:*
udp 0 0 *:49119 *:*
udp 0 0 *:mdns *:*
2. 列出所有处于监听状态的 Sockets
只显示监听端口 netstat -l
# netstat -l
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 localhost:ipp *:* LISTEN
tcp6 0 0 localhost:ipp [::]:* LISTEN
udp 0 0 *:49119 *:*
只列出所有监听 tcp 端口 netstat -lt
# netstat -lt
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 localhost:30037 *:* LISTEN
tcp 0 0 *:smtp *:* LISTEN
tcp6 0 0 localhost:ipp [::]:* LISTEN
只列出所有监听 udp 端口 netstat -lu
# netstat -lu
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
udp 0 0 *:49119 *:*
udp 0 0 *:mdns *:*
只列出所有监听 UNIX 端口 netstat -lx
# netstat -lx
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node Path
unix 2 [ ACC ] STREAM LISTENING 6294 private/maildrop
unix 2 [ ACC ] STREAM LISTENING 6203 public/cleanup
unix 2 [ ACC ] STREAM LISTENING 6302 private/ifmail
unix 2 [ ACC ] STREAM LISTENING 6306 private/bsmtp
3. 显示每个协议的统计信息
显示所有端口的统计信息 netstat -s
# netstat -s
Ip:
11150 total packets received
1 with invalid addresses
0 forwarded
0 incoming packets discarded
11149 incoming packets delivered
11635 requests sent out
Icmp:
0 ICMP messages received
0 input ICMP message failed.
Tcp:
582 active connections openings
2 failed connection attempts
25 connection resets received
Udp:
1183 packets received
4 packets to unknown port received.
.....
显示 TCP 或 UDP 端口的统计信息 netstat -st 或 -su
# netstat -st
# netstat -su
4. 在 netstat 输出中显示 PID 和进程名称 netstat -p
netstat -p 可以与其它开关一起使用，就可以添加 “PID/进程名称” 到 netstat 输出中，这样 debugging 的时候可以很方便的发现特定端口运行的程序。
# netstat -pt
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 1 0 ramesh-laptop.loc:47212 192.168.185.75:www CLOSE_WAIT 2109/firefox
tcp 0 0 ramesh-laptop.loc:52750 lax:www ESTABLISHED 2109/firefox
5. 在 netstat 输出中不显示主机，端口和用户名 (host, port or user)
当你不想让主机，端口和用户名显示，使用 netstat -n。将会使用数字代替那些名称。
同样可以加速输出，因为不用进行比对查询。
# netstat -an
如果只是不想让这三个名称中的一个被显示，使用以下命令
# netsat -a --numeric-ports
# netsat -a --numeric-hosts
# netsat -a --numeric-users
6. 持续输出 netstat 信息
netstat 将每隔一秒输出网络信息。
# netstat -c
Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 ramesh-laptop.loc:36130 101-101-181-225.ama:www ESTABLISHED
tcp 1 1 ramesh-laptop.loc:52564 101.11.169.230:www CLOSING
tcp 0 0 ramesh-laptop.loc:43758 server-101-101-43-2:www ESTABLISHED
tcp 1 1 ramesh-laptop.loc:42367 101.101.34.101:www CLOSING
^C
7. 显示系统不支持的地址族 (Address Families)
netstat --verbose
在输出的末尾，会有如下的信息
netstat: no support for `AF IPX' on this system.
netstat: no support for `AF AX25' on this system.
netstat: no support for `AF X25' on this system.
netstat: no support for `AF NETROM' on this system.
8. 显示核心路由信息 netstat -r
# netstat -r
Kernel IP routing table
Destination Gateway Genmask Flags MSS Window irtt Iface
192.168.1.0 * 255.255.255.0 U 0 0 0 eth2
link-local * 255.255.0.0 U 0 0 0 eth2
default 192.168.1.1 0.0.0.0 UG 0 0 0 eth2
注意： 使用 netstat -rn 显示数字格式，不查询主机名称。
9. 找出程序运行的端口
并不是所有的进程都能找到，没有权限的会不显示，使用 root 权限查看所有的信息。
# netstat -ap | grep ssh
tcp 1 0 dev-db:ssh 101.174.100.22:39213 CLOSE_WAIT -
tcp 1 0 dev-db:ssh 101.174.100.22:57643 CLOSE_WAIT -
找出运行在指定端口的进程
# netstat -an | grep ':80'
10. 显示网络接口列表
# netstat -i
Kernel Interface table
Iface MTU Met RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0 1500 0 0 0 0 0 0 0 0 0 BMU
eth2 1500 0 26196 0 0 0 26883 6 0 0 BMRU
lo 16436 0 4 0 0 0 4 0 0 0 LRU
显示详细信息，像是 ifconfig 使用 netstat -ie:
# netstat -ie
Kernel Interface table
eth0 Link encap:Ethernet HWaddr 00:10:40:11:11:11
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
Memory:f6ae0000-f6b00000
11. IP和TCP分析
查看连接某服务端口最多的的IP地址
wss8848@ubuntu:~$ netstat -nat | grep "192.168.1.15:22" |awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -20
18 221.136.168.36
3 154.74.45.242
2 78.173.31.236
2 62.183.207.98
2 192.168.1.14
2 182.48.111.215
2 124.193.219.34
2 119.145.41.2
2 114.255.41.30
1 75.102.11.99
TCP各种状态列表
wss8848@ubuntu:~$ netstat -nat |awk '{print $6}'
established)
Foreign
LISTEN
TIME_WAIT
ESTABLISHED
TIME_WAIT
SYN_SENT
先把状态全都取出来,然后使用uniq -c统计，之后再进行排序。
wss8848@ubuntu:~$ netstat -nat |awk '{print $6}'|sort|uniq -c
143 ESTABLISHED
1 FIN_WAIT1
1 Foreign
1 LAST_ACK
36 LISTEN
6 SYN_SENT
113 TIME_WAIT
1 established)
最后的命令如下:
netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn
分析access.log获得访问前10位的ip地址
awk '{print $1}' access.log |sort|uniq -c|sort -nr|head -10
参考资料:http://blog.maxiang.net/10-netstat-command-examples/139/
http://www.51testing.com/html/00/130600-867347.html
1.普通的文件，2.目录 3.网络文件系统的文件，4.字符设备文件 5.(函数)共享库 6.管道，命名管道 7.符号链接
8.底层的socket字流，网络socket，unix域名socket
9.在linux里面，大部分的东西都是被当做文件的…..还有其他很多
怎样使用lsof
这里主要用案例的形式来介绍lsof 命令的使用
1.列出所有打开的文件:
lsof
备注: 如果不加任何参数，就会打开所有被打开的文件，建议加上一下参数来具体定位
2. 查看谁正在使用某个文件
lsof /filepath/file
3.递归查看某个目录的文件信息
lsof +D /filepath/filepath2/
备注: 使用了+D，对应目录下的所有子目录和文件都会被列出
4. 比使用+D选项，遍历查看某个目录的所有文件信息 的方法
lsof | grep ‘/filepath/filepath2/’
5. 列出某个用户打开的文件信息
lsof -u username
备注: -u 选项，u其实是user的缩写
6. 列出某个程序所打开的文件信息
lsof -c mysql
备注: -c 选项将会列出所有以mysql开头的程序的文件，其实你也可以写成lsof | grep mysql,但是第一种方法明显比第二种方法要少打几个字符了
7. 列出多个程序多打开的文件信息
lsof -c mysql -c apache
8. 列出某个用户以及某个程序所打开的文件信息
lsof -u test -c mysql
9. 列出除了某个用户外的被打开的文件信息
lsof -u ^root
备注：^这个符号在用户名之前，将会把是root用户打开的进程不让显示
10. 通过某个进程号显示该进行打开的文件
lsof -p 1
11. 列出多个进程号对应的文件信息
lsof -p 123,456,789
12. 列出除了某个进程号，其他进程号所打开的文件信息
lsof -p ^1
13 . 列出所有的网络连接
lsof -i
14. 列出所有tcp 网络连接信息
lsof -i tcp
15. 列出所有udp网络连接信息
lsof -i udp
16. 列出谁在使用某个端口
lsof -i :3306
17. 列出谁在使用某个特定的udp端口
lsof -i udp:55
特定的tcp端口
lsof -i tcp:80
18. 列出某个用户的所有活跃的网络端口
lsof -a -u test -i
19. 列出所有网络文件系统
lsof -N
20.域名socket文件
lsof -u
21.某个用户组所打开的文件信息
lsof -g 5555
22. 根据文件描述列出对应的文件信息
lsof -d description(like 2)
23. 根据文件描述范围列出文件信息
lsof -d 2-3
;;;;;;;;;;;;;;
http://riser.blog.51cto.com/252482/1429364
对于某些耗资源的应用，诸如java和数据 库之类的，打开文件（open file）数往往会超出Linux系统的默认限制，这时就需要调整系统内核的ulimit参数。但在应用的具体运行中，仍有可能出现打开文件数超出限制的 情况，此时应用将会出现异常，所以我们在运维中应该对打开文件数的状况进行必要的监测，以防此种情况发生，或者能在发生时及时发现问题并解决之。
Linux 提供了一个非常强大的工具用于显示打开文件，这就是lsof。有了这个命令，监测系统运行状况就相当于如虎添翼，特别是在诊断故障时，它更是能为你指明方 向。在RedHat中，lsof一般都默认装好了，而对于其他发行版本的Linux，如果没有这个命令，可以去下载安装lsof这个安装包。
下面我们来看看lsof的常用选项：
1、 lsof +p pid
该 选项列出了进程pid相关的打开文件，显示的项目包括：进程名（COMMAND）、进程id（PID）、运行进程的用户名（USER）、文件描述符 （FD）、文件类型（TYPE）、设备号（DEVICE）、文件大小（SIZE）、i节点号（NODE）和文件完整路径（NAME）。
2、lsof -u uname
该选项列出用户uname相关的打开文件。
3、lsof fname
该选项列出所有正在使用文件fname的进程和用户。
4、lsof -i
该选项列出所有网络相关的打开文件（套接字文件）。在-i后面可以接参数，如TCP、UDP、TCP:http、TCP:80之类的，以显示指定类型或端口的打开文件。其实这就相当于查看网络连接，与netstat命令有异曲同工之效，而且命令更简单。
5、lsof -c command
该选项列出命令或程序command相关的打开文件。
6、lsof devname
该选项列出设备devname相关的打开文件。
7、lsof +D dirname
该选项列出目录dirname相关的打开文件。
为了让大家更深刻地领悟lsof的用处，下面设定一些典型应用场景：
1、 统计某个进程或命令所打开的文件数，这样可以检查是否有进程的打开文件数超限。
举例：lsof -c oracle | wc -l
2、统计某个端口的网络连接数，这样可以检查某个端口的网络连接是否过多而引起异常。
举例：lsof -i tcp:80 | wc -l
3、在修改或删除某个文件前查看该文件是否正在使用，如正在使用，查看是什么程序在使用它，以便于在修改或删除前先行关闭使用它的程序。
举例：lsof /etc/passwd
4、单独查看使用某个目录的进程ID。
举例：lsof +D /usr/bin | awk ‘{ print $2 }’
5、知道某个端口号，要确定使用该端口的程序是什么。
举例：lsof -i tcp:8080 | awk ‘{ print $1 }’
http://blog.chinaunix.net/uid-29580597-id-4351654.html
相信大家都知道*nix平台的lsof命令了。lsof用于列出，当前系统中处于打开状态的文件。此处的文件，可以是普通的文件，目录，NFS文件，块文件，字符文件，符号链接，Socket描述符等等。以下介绍lsof的几个特殊用法：
lsof特殊用法
找出谁在使用某个特定文件
lsof /path/to/file1 /path/to/file2
递归查找某个目录中所有打开的文件
lsof +D /path
查找某个用户打开的文化
lsof -u user
lsof -u lisi,wangwu
查找某个程序打开的所有文件
lsof -c program
列出所有由某个用户或某个进程打开的文件
lsof -u lisi -c nginx
列出所有由一个用户与某个进程打开的文件
lsof -a -u lisi -c bash
列出除root用户外的所有用户打开的文件
lsof -u ^root
注意root前面的^符号，它执行取反操作
列出所有由某个或某些Pid对应的进程打开的文件
lsof -p 220,110,400
列出所有进程打开的文件除了某个pid的
lsof -p ^250
列出所有网络连接
lsof -i
列出所有TCP网络连接
lsof -i tcp
列出所有UDP网络连接
lsof -i udp
找到使用某个端口的进程
lsof -i :80
lsof -i :smtp
第二个命令使用了/etc/services中制定的端口名称来代替端口号
找到使用某个udp端口号的进程
lsof -i udp:53
命令中的协议标识有多种。如tcp等
找到某个用户的所有网络连接
lsof -a -u lisi -i
列出所有NFS（网络文件系统）文件
lsof -N
列出所有UNIX域Socket文件
lsof -U
列出所有对应某个g组id的进程
lsof -g 1234
列出所有与某个描述符关联的文件
lsof -d 3
lsof -d 0-2
第二个命令指定了描述符的范围
列出所有内存映射文件
lsof -d mem
列出所有加载在内存中并正在执行的进程
lsof -d txt
输出使用某些资源的进程pid
lsof -t -i
杀掉所有使用网络的进程
kill -9 `lsof -t -i`
循环列出文件
lsof -r 2
lsof -r 2 -u lisi -i -a
-r选项用于循环列出文件直到被中断。参数2的意思是每秒钟重复打印一次。
......................
http://segmentfault.com/blog/yexiaobai/1190000000461077
曾经在生产上遇到过一个df 和 du出现的结果不一致的问题，为了排查到底是哪个进程占用了文件句柄，导致空间未释放，首先在linux上面，一切皆文件，这个问题可以使用lsof这个 BT的命令来处理（这个哈还可以来查询文件句柄泄露问题，应用程序的进程未关闭文件句柄）
1.文件句柄以及空间释放问题
- 注：在生产环境常见的问题就是，有维护人员或者开发同事使用tail命令实时查看日志。然后另外的人使用rm命令删除，这有就好导致磁盘空间不会真正的释放，因为你要删除的文件，还有进程在使用，文件句柄没有释放，即tail
模拟场景1：
你创建一个文件testfile
touch testfile
然后使用tail命令一直查看
tail testfile
这个时候另外一个同事使用rm命令来删除了该文件
rm testfile
正式使用lsof命令排查
如果你知道文件名，那就可以直接使用如下命令
lsof |grep testfile
但是如果你不知道是哪个文件，或者是很多文件都有这样的情况，那你需要使用如下命令
lsof |grep deleted 注：这个deleted表示该已经删除了的文件，但是文件句柄未释放,这个命令会把所有的未释放文件句柄的进程列出来
注：有些系统你没有配置环境变量的话，直接lsof是会报错没有该命令，你可以直接/usr/bin/lsof 或者是/usr/sbin/lsof，根据你的系统环境自己查看
然后上面命令出来的结果会出来如下结果
root 123 12244 0 14:47 pts/1 01:02:03 tail testfile
然后你可以使用kill 命令来释放文件句柄从而释放空间
kill 123
2. 文件恢复问题
在说明问题之前，先介绍下一些文件的基本概念：
- 文件实际上是一个指向inode的链接, inode链接包含了文件的所有属性, 比如权限和所有者, 数据块地址(文件存储在磁盘的这些数据块中). 当你删除(rm)一个文件, 实际删除了指向inode的链接, 并没有删除inode的内容. 进程可能还在使用. 只有当inode的所有链接完全移去, 然后这些数据块将可以写入新的数据.
- proc文件系统可以协助我们恢复数据. 每一个系统上的进程在/proc都有一个目录和自己的名字， 里面包含了一个fd(文件描述符)子目录(进程需要打开文件的所有链接). 如果从文件系统中删除一个文件, 此处还有一个inode的引用:
/proc/进程号/fd/文件描述符
- 你需要知道打开文件的进程号(pid)和文件描述符(fd). 这些都可以通过lsof工具方便获得, lsof的意思是”list open files, 列出(进程)打开的文件”. 然后你将可以从/proc拷贝出需要恢复的数据.
1.创建一个测试文件并且备份下，方面后续验证
touch testfile
cp testfile testfile.backup.2014
2.查看文件的相关信息
stat testfile
File: 'testfile'
Size: 343545 Blocks: 241 IO Block: 4096 regular file
Device: fd00h/64768d Inode: 361579 Links: 1
Access: (0664/-rw-rw-r–) Uid: ( 505/ zhaoke) Gid: ( 505/ zhaoke)
Access: 2014-11-09 15:00:38.000000000 +0800
Modify: 2014-11-09 15:00:34.000000000 +0800
Change: 2014-04-09 15:00:34.000000000 +0800
没问题, 继续下面工作:
3.删除文件
rm testfile
4.查看文件
ls -l testfile
ls: testfile: No such file or directory
stat testfile
stat: cannot stat 'testfile': No such file or directory
testfile文件删除了，但不要终止仍在使用文件的进程， 因为一旦终止, 文件将很难恢复.
现在我们开始找回数据之旅，先使用lsof命令查看下
lsof | grep testfile
tail 5317 root 4r REG 253,0 343545 361579 /root/testfile (deleted)
-
第一个纵行是进程的名称(命令名), 第二纵行是进程号(PID), 第四纵行是文件描述符
-
现在你知道5317进程仍有打开文件, 文件描述符是4. 那我们开始从/proc里面拷贝出数据.
-
你可能会考虑使用cp -a, 但实际上没有作用, 你将拷贝的是一个指向被删除文件的符号链接:
ls -l /proc/5317/fd/4
lr-x—— 1 root root 64 09 15:00 /proc/5317/fd/4 -> /root/testfile (deleted)
使用cp -a命令测试恢复
cp -a /proc/5317/fd/4 testfile.backup
使用ls命令来查看
ls -l testfile.backup
lrwxrwxrwx 1 root root 29 09 15:02 testfile.backup -> /roor/testfile (deleted)
通过上面的命令我们发现，使用cp -a命令，其恢复的是一个指向被删除文件的符号链接
使用file命令分别查看文件和文件描述符
- 1.查看文件
file testfile.backup
testfile.backup: broken symbolic link to '/root/testfile (deleted)'
- 2.查看文件描述符
file /proc/5317/fd/4
/proc/5317/fd/4: broken symbolic link to '/root/myfile (deleted)'
根据上面的file结果，可以使用cp拷贝出文件描述符数据到一个文件中，如下:
cp /proc/5317/fd/4 testfile.new
使用上面的命令恢复后，我们需要最终确认一下文件是否恢复，以及文件内容是否正确:
ls -l testfile.new
然后把新旧的两个文件对比
===================
浙公网安备 33010602011771号