Linux IO 监控与深入分析
引言
接昨天电话面试，面试官问了系统 IO 怎么分析， 当时第一反应是使用 iotop 看系统上各进程的 IO 读写速度， 然后使用 iostat 看 CPU 的 %iowait 时间占比，（%iowait：CPU等待输入输出完成时间的百分比，%iowait的值过高，表示硬盘存在I/O瓶颈）
但回答并是不很全面，确实，比较久之前写过一篇 Linux iostat 使用， 很久没有在系统上分析 IO 状态了， 所以有好几个分析工具和参数忘记了（说明要熟悉一个知识和技能是需要不断应用和重复学习，熟能生巧很有道理，扯远了，接着说 IO 监控与分析）， 然后面试官提示还要看 %util 参数（表示磁盘的繁忙程度），他一说，我确实了也记起来了。这个也是常用要看的参数。
下面我重新查找相关资料并再次学习一下吧，还是要经常在实际工作中多应用才能熟练。
1 系统级 IO 监控
iostat
另一资料的总结：
- 如果 %iowait 的值过高，表示磁盘存在 I/O 瓶颈。
- 如果 %util 接近 100%，说明产生的 I/O 请求太多，I/O 系统已经满负荷，该磁盘可能存在瓶颈。
- 如果 svctm 比较接近 await，说明 I/O 几乎没有等待时间；
- 如果 await 远大于 svctm，说明 I/O 队列太长，I/O 响应太慢，则需要进行必要优化。
- 如果 avgqu-sz 比较大，也表示有大量 IO 在等待。
2 进程级 IO 监控
iotop 和 pidstat
- iotop 顾名思义, IO 版的 top
- pidstat 顾名思义, 统计进程(pid)的 stat，进程的 stat 自然包括进程的 IO 状况
这两个命令，都可以按进程统计 IO 状况，因此可以回答你以下二个问题：
- 当前系统哪些进程在占用 IO，百分比是多少?
- 占用 IO 的进程是在读？还是在写？读写量是多少？
pidstat 参数很多，根据需要使用
总结:
进程级 IO 监控：
- 可以回答系统级 IO 监控不能回答的 2 个问题
- 距离业务层相对较近(例如，可以统计进程的读写量)
但是也没有办法跟业务层的 read, write 联系在一起，同时颗粒度较粗，没有办法告诉你，当前进程读写了哪些文件？耗时？大小？
3. 业务级 IO 监控
ioprofile
ioprofile 命令本质上是 lsof + strace ioprofile 可以回答你以下三个问题:
- 当前进程某时间内,在业务层面读写了哪些文件(read, write)？
- 读写次数是多少？(read, write 的调用次数)
- 读写数据量多少？(read, write 的 byte 数)
注: ioprofile 仅支持多线程程序,对单线程程序不支持. 对于单线程程序的 IO 业务级分析，strace 足以。
总结： ioprofile 本质上是 strace，因此可以看到 read，write 的调用轨迹，可以做业务层的 IO 分析(mmap 方式无能为力)
4. 文件级 IO 监控
文件级 IO 监控可以配合/补充”业务级和进程级” IO 分析
文件级 IO 分析，主要针对单个文件，回答当前哪些进程正在对某个文件进行读写操作
- lsof 或者
ls /proc/pid/fd - inodewatch.stp
lsof 告诉你当前文件由哪些进程打开
lsof 命令只能回答静态的信息，并且“打开”并不一定“读取”，
对于 cat，echo 这样的命令，打开和读取都是瞬间的，lsof 很难捕捉 可以用 inodewatch.stp 来弥补
