Linux 服务器 inode 占用 100% 导致无法写入文件怎么排查?

文章导读
服务器突然报“No space left on device”,但用 df -h 看磁盘还有不少剩余,这种矛盾现象在 Linux 上通常是 inode 耗尽了。换句话说,磁盘块没用完,但文件系统用来记录文件元数据的索引节点已经满了。下面按我平时排查的顺序,把思路和操作步骤整理出来。
📋 目录
  1. A 先用 df -i 确认是不是 inode 满
  2. B 按目录统计文件数量,缩小排查范围
  3. C 检查小文件堆积的常见位置
  4. D 删除文件时的操作边界与验证方式
  5. E 几个容易被忽略的坑
  6. F 后续预防思路
A A

服务器突然报“No space left on device”,但用 df -h 看磁盘还有不少剩余,这种矛盾现象在 Linux 上通常是 inode 耗尽了。换句话说,磁盘块没用完,但文件系统用来记录文件元数据的索引节点已经满了。下面按我平时排查的顺序,把思路和操作步骤整理出来。

先用 df -i 确认是不是 inode 满

遇到无法写入文件时,不要急着清理磁盘,先同时看两个命令的输出。当服务器提示“No space left on device”但用 df -h 查看磁盘空间还有剩余时,首先要怀疑 inode 已经耗尽。可以通过 df -i 命令查看文件系统 inode 的使用情况,如果 IUse% 接近 100%,说明 inode 满了。此时即使磁盘还有空间,也无法创建新文件、目录或软链接,因为每个文件都需要占用一个 inode。

这一步要重点看挂载点对应的文件系统,比如根分区 / 或数据盘 /data。如果 df -i 显示某个挂载点已用 100%,而其他分区还有余量,那问题就局限在这个分区上。接下来要做的不是清空磁盘,而是找出哪里堆积了大量小文件。

按目录统计文件数量,缩小排查范围

inode 被占满,本质上就是文件数量太多。要快速定位是哪个目录占用了大量 inode,可以使用 for 循环配合 find 命令统计每个子目录的文件数量。例如先进入根目录,然后执行 for dir in */; do echo -n "$dir: "; find "$dir" -xdev | wc -l; done,按输出排序找出文件数最多的目录。注意使用 -xdev 避免跨文件系统统计,防止把其他挂载点也算进来。

这个循环会列出根目录下每个一级子目录的文件总数,输出结果可能很多,建议重定向到文件再排序,比如把命令输出到 /tmp/count.txt,然后执行 sort -t: -k2 -n /tmp/count.txt | tail,只看文件数最多的几个目录。对于数据盘,同样进入该挂载点执行类似命令。这一步往往能快速暴露出问题目录,比如 /var/spool、/tmp 或者某个应用的数据目录。

注意 find 会统计目录本身,所以目录数会包含所有子目录和文件,但这不影响排序比较。如果某个目录下文件数量异常,比如有几百万个,基本就能确定 inode 消耗的大头。

检查小文件堆积的常见位置

找到目录后,先别急着删,观察一下里面是什么类型的文件。常见的堆积场景包括:邮件队列、PHP 会话文件、Nginx 的 proxy_temp、Squid 缓存,以及未配置轮转的日志。可以用 find /可疑目录 -type f | wc -l 统计文件个数,再用 ls -l --time-style=long-iso /可疑目录 | head 查看最近文件的时间。如果文件时间集中在最近几小时,说明有进程在持续写入;如果时间很旧,可能是历史遗留问题。

有些目录看起来不大,但文件数量惊人,比如每个文件只有几 KB。这种场景下,磁盘空间可能只用了百分之几,但 inode 已经顶满。我遇到过 /tmp 下堆了上百万个 PHP 会话文件的情况,也遇到过应用日志因为没配置 logrotate,同一个日志目录里生成了几百万个滚动文件。重点检查 /var/spool/mqueue、/var/tmp、/tmp,以及 Nginx、PHP-fpm、Java 应用的临时目录和日志目录。需要结合你的业务和进程列表判断,不能只看目录名就断定是垃圾。

删除文件时的操作边界与验证方式

确认占用目录后,删除文件时要小心。直接 rm -rf 目录 可能导致服务中断或误删有用数据。建议先确认目录用途,如果有进程正在写文件,先停掉相关服务再清理。对于大量小文件,可以分批删除,比如 find 目录 -type f -mtime +7 -delete,避免一次性删除造成负载过高。删除后要确认 inode 使用率是否下降,同时检查是否有进程持续产生新文件,否则很快又会占满。

Linux 服务器 inode 占用 100% 导致无法写入文件怎么排查?

在执行删除前,先看目录属于哪个服务。比如 /var/spool/postfix/maildrop 是 Postfix 的邮件队列,如果直接用 rm -rf 删掉整个目录,可能破坏 Postfix 的目录结构,导致服务启动失败。正确做法是先停掉相关服务,保留目录本身,只删除目录内的文件。对于大量小文件,我习惯用 find 加 -mtime 或 -size 条件分批删,比如先删三天前的旧文件,观察系统负载正常后再删更近的。删除时注意看 find 命令是否卡住,如果文件数量极大,可能耗时较长。

删除完成后,立刻执行 df -i 确认 inode 使用率是否回落。如果使用率没有变化,很可能有进程仍持有已删除文件的文件描述符,需要重启该进程或服务。此时用 lsof | grep deleted 能找出还在占用已删除文件句柄的进程,确认后重启对应服务,inode 才会真正释放。如果 inode 只是略微下降,说明还有另外的目录在持续产生文件,需要回到上一步继续排查。

几个容易被忽略的坑

排查时要注意有些文件系统无法用 find 统计,比如某些挂载点或只读文件系统。另外,删除文件后 inode 不会立即释放,如果文件仍被进程占用,需要重启相关进程或服务。备份也不容忽视,如果只用 tar 打包大量小文件,tar 本身也需要创建文件,可能因 inode 不足而失败。建议先清理足够空间,或用流式压缩等方式绕过 inode 限制。

这里补充两个实际场景。一是临时目录挂载了 tmpfs,这种内存文件系统默认 inode 数量受内存限制,但 df -i 会显示使用率,如果内存足够,一般不会满。二是 NFS 或网络存储上的文件系统,inode 管理由服务端决定,客户端 df -i 可能看不到真实情况,需要登录存储侧确认。

在清理空间不足的情况下,tar 备份确实会遇到麻烦。如果来不及清理,可以先用 find 目录 -type f -delete 把最旧的一批文件删掉,留出 inode 余量后再做备份。但要注意,如果业务还在写入,删文件可能造成数据缺失,所以备份前最好先暂停写入,或者明确这些文件是临时文件。

后续预防思路

要避免 inode 再次耗尽,可以从预留 inode 和监控入手。在文件系统创建时通过 -i 参数指定较高比例的 inode,但已经格式化的分区无法直接调整,只能重新格式化。日常运维中建议用监控工具跟踪 inode 使用率,当超过 80% 时发出告警。对于日志和临时文件,配置定期清理任务,比如 logrotate 或 cron 定时删除超过 N 天的文件,减少小文件堆积的可能。

如果你用的是 ext4,可以在 mkfs 时指定 -i 16384(每 16384 字节分配一个 inode)来增加 inode 数量;xfs 则可以通过 mkfs.xfs -i maxpct=50 调整。但重新格式化意味着数据清空,这个操作必须离线做,不能在生产分区上直接尝试。更稳妥的做法是先清理现有文件,再观察增长趋势。监控方面,除了通用的 Zabbix、Prometheus,也可以写一个简单的 shell 脚本,每天执行 df -i 并判断使用率,超过阈值就发送通知。

最后再强调一个容易被忽略的点:删除大量小文件时,CPU 和磁盘 IO 都会上升,尤其是在机械硬盘上,可能短暂影响业务。建议把删除操作安排到业务低峰期,并且用 nice 或 ionice 降低优先级。如果你遇到删除后 inode 使用率仍然不下降的情况,优先检查是否有进程持有已删除文件的句柄,而不是反复执行删除命令。