遇到磁盘 IO wait 很高时,我一般不会先去看应用日志,而是先用 iostat 把现象钉死。原因很简单,IO wait 是系统层面的均值,只有先确认是哪块盘、哪种类型的 IO 在排队,后续排查才有方向。
先确认现象
使用iostat -x 1持续观察,当%util持续高于80%且await明显高于svctm时,说明磁盘存在排队,IO wait较高。但需要明确,iostat展示的是整个磁盘或分区的统计信息,它只能告诉你哪块盘忙,无法直接告诉你哪个文件正在被读写。要定位具体文件,必须借助其他手段,将iostat的结论作为起跑线。
这里我会特别关注两列:%util 反映设备忙的程度,await 反映请求从进入队列到完成的总耗时。如果 await 是 svctm 的好几倍,说明排队严重,磁盘是真正的瓶颈。相反,如果 %util 不高但 IO wait 高,就要小心是不是虚拟化或内存回收干扰了判断。
容易误判的地方
注意iostat的%util在虚拟化环境下可能失真,因为宿主机IO调度会影响观察结果,即使%util不高,也可能出现IO wait升高。另外,Linux的page cache会吸收大部分读请求,实际磁盘读可能被缓存,因此进程显示的IO与磁盘实际IO不完全一致。在分析时,要结合vmstat的wa列和顶部的CPU状态一起看。
举个例子,如果 vmstat 显示 wa 高,但 iostat 的 %util 很低,可能是磁盘处于空闲但 CPU 等待在 IO 调度的其他环节,例如网络文件系统或磁盘睡眠状态。这种时候直接找文件很容易扑空,不如先确认挂载点类型和系统负载。
定位文件的具体顺序
确定是某块物理盘后,我会按下面这个顺序一步步缩小范围。这里用到了 iotop 和 /proc 文件系统,它们能帮你把“盘忙”翻译成“哪个进程在忙”,再从进程找到文件。
首先用iostat -dx 1确认是哪块物理盘或分区(如sda、vda)压力大,然后切换到IoTop,运行iotop -o并按磁盘排序,找到正在进行大量IO的进程PID。拿到PID后,执行ls -l /proc/PID/fd,查看该进程打开的文件描述符,其中指向文件系统的路径就是你要找的文件。也可以使用lsof -p PID直接列出打开的文件。
这一步里,iotop 的 -o 只显示有 IO 的进程,按磁盘排序可以排除 CPU / 内存干扰。如果并发很高,iotop 输出会反复跳,建议把输出重定向到文件再观察几秒,避免肉眼漏掉。
补充命令与限制
如果没有 iotop,可以直接读取 /proc/PID/io 文件,观察 read_bytes 和 write_bytes 的增量变化,找到 IO 增速异常的进程。注意这个文件的计数器是自进程启动以来的累计值,需要隔几秒读两次算差值,才反映当前状态。
要是进程 PID 会快速变换,可以用 strace 跟踪系统调用,捕获 openat, read, write 等调用。但 strace 会严重降低程序性能,只能短时间采样,不能长期挂着。如果你正在生产环境排障,需要先评估影响,或者用 perf trace 这类采样工具替代。
还有一种容易被忽略的情况:文件已经被删除,但进程还持有文件描述符。此时 lsof 会显示 deleted 标记,文件占用的空间不会释放,但 iotop 和 /proc/io 仍然会统计到写入量。定位到这种文件后,需要重启对应进程或确认是否真的还在使用。
验证与回滚
定位到具体文件后,不要急着下结论,先验证一下是否真的是这个文件造成 IO wait。可以用 iostat -dx 1 持续观察,同时对该文件做几次读写在另一个终端看下延迟变化。如果文件是日志,临时把它轮转或停掉写入,观察 IO wait 是否下降,这是比较直接的验证方式。
回滚也很重要。如果你通过调整应用参数或挂载选项来缓和 IO,必须记录原始配置,并准备一键还原。例如使用 noatime 挂载可以减少读操作的元数据更新,但会影响文件访问时间记录,改动前要确认应用是否依赖 atime。这种调整不是性能提升方案,而是风险平衡,需要结合环境确认后再改。
后续维护
排查结束后,我会把 iostat、iotop 和 /proc 的采集命令固化到 crontab 或监控系统里,保留历史数据。这样下次再出现 IO wait 升高时,可以直接对比基线,判断是新文件还是旧文件,是读还是写,避免每次从零开始推演。
另外,建议养成定期检查磁盘空间和 inode 的习惯,很多 IO wait 问题最后都指向满盘或碎片化,而不是应用本身。监控项不用多,但 iostat -dx 和 vmstat 的输出一定要留。