Ubuntu 20.04 挂载 NFS 共享目录读写速度慢怎么优化参数?

文章导读
遇到 NFS 读写慢,我通常不会先急着改挂载参数,而是先确认慢是发生在服务端还是客户端。直接在客户端跑一遍大文件顺序写和随机读,用 time 记录耗时,同时用 iostat 看客户端本地磁盘情况,再用 nfsstat -rc 看服务端响应计数。如果服务端 CPU、网络和存储都很空闲,而客户端写操作长时间等待,那问题多半在挂载参数或 RPC 并发配置上;如果服务端自己也慢,改客户端参数帮助有限。
📋 目录
  1. 一 先确认慢在哪一侧
  2. 二 从挂载参数入手
  3. 三 网络层和 NFS 协议版本
  4. 四 调整客户端 RPC 槽位
  5. 五 验证参数和回滚边界
A A

遇到 NFS 读写慢,我通常不会先急着改挂载参数,而是先确认慢是发生在服务端还是客户端。直接在客户端跑一遍大文件顺序写和随机读,用 time 记录耗时,同时用 iostat 看客户端本地磁盘情况,再用 nfsstat -rc 看服务端响应计数。如果服务端 CPU、网络和存储都很空闲,而客户端写操作长时间等待,那问题多半在挂载参数或 RPC 并发配置上;如果服务端自己也慢,改客户端参数帮助有限。

先确认慢在哪一侧

比较直接的做法是在客户端执行类似 dd 写入测试,同时用 nfsstat -rc 观察 retrans 和 timeouts。retrans 持续增长,通常说明网络丢包或服务端处理不过来;timeouts 多则要看看服务端负载。也可以停掉客户端缓存,用 sync 强制落盘,再对比写文件耗时。如果时延主要消耗在最终落盘阶段,说明服务端存储或导出选项有问题,而不是挂载参数没调好。

另一条线索是 nfsstat -m 查看当前挂载参数是否生效,以及 NFS 版本是 4.x 还是 3。Ubuntu 20.04 默认客户端通常使用 NFSv4,但服务端配置不同,实际协商结果会回落。如果双方都支持 NFSv4.2,可以单独测一次,再对比回退到 v4.1 或 v3 的结果。v4.2 增加了服务端复制等特性,但不代表读写一定更快,有些时候反而因为 delegation 回收机制导致小文件写入延迟波动。

  • 客户端:iostat -x 1 观察 rkB/s、wkB/s 和 await,尤其看 await 是否过高;
  • 网络:ping -M do -s 1400 检查 MTU 路径,tcpdump 看重传;
  • 服务端:nfsstat -s 和 iostat -x 关注 NFS 处理计数和磁盘利用率。

这一步做完,基本能分清需要调的是挂载参数、网络参数,还是服务端导出的存储配置。

从挂载参数入手

挂载参数里最常调整的是 rsize 和 wsize。这两个值决定了每次 RPC 能读写的最大数据块大小,常见设置是 1048576(1 MiB)。但不是越大越好,需要配合客户端和服务端的可用内存以及物理接口能力。建议先用默认值测试,再分别改成 65536、524288、1048576 各测一次,取相对稳定的一组。如果默认值本身就慢,而改成 65536 后稳定,那就要考虑是不是服务端网卡或存储对大于某长度的数据包处理慢。

一个参考挂载配置如下:

sudo mount -t nfs4 -o rsize=1048576,wsize=1048576,hard,intr,noatime,nodiratime,proto=tcp,nofail server:/export /mnt/nfs

hard 模式在服务端恢复后通常能保持文件系统一致性,但客户端进程会一直等待,所以要搭配 intr(或使用 timeo 和 retrans 控制重传时间)。noatime 和 nodiratime 能减少每次读文件产生的元数据写回,对大量读取场景有帮助,但对随机写场景并不明显。如果业务能容忍短暂不可用,也可以用 soft 模式,但软挂载在丢包率较高的链路上会出现数据损坏风险,我不建议在数据库或需要强一致性的目录上用。

timeo 和 retrans 也要注意。timeo 是请求重发前等待的十分之一秒数,默认 600 代表 60 秒,如果你希望超时更快,比如局域网内,可以调低到 50 或 30。retrans 是重传次数,默认 2。这两个参数配合 hard 模式,决定了客户端等待多久才报错。不要只调 rsize 和 wsize,那样遇到网络抖动时,慢的问题会表现为长时间的挂起。

还有 nconnect 参数,只对 NFSv4.1 及以上生效,可以建立多个 TCP 连接,缓解单 TCP 流的窗口限制。比如 nconnect=4。不过这个参数需要服务端和客户端都支持,并且在服务端单点存储性能有限时,增大连接数反而可能让服务端排队更严重。建议先确认服务端 export 使用的是 NFSv4.1 或 4.2,再测试 nconnect 从 2 到 8 的变化,同时观察服务端网络中断和 CPU 软中断是否变成瓶颈。

Ubuntu 20.04 挂载 NFS 共享目录读写速度慢怎么优化参数?

网络层和 NFS 协议版本

如果同一个局域网内 NFS 慢,先检查网卡协商速率,再看 MTU 是否开启到 9000。NFS 对 MTU 很敏感,建议用 ping -M do -s 1400 和 ping -M do -s 8972 分别验证,能通再在客户端和交换机上统一设置。MTU 不一致带来的分片对延迟影响很直观,但如果是跨交换机路由,还需要检查中间设备的 MTU 设置。不要只改客户端,服务端网卡也要同步。

协议版本方面,NFSv4.2 在服务端支持时能利用 copy_file_range 和 hole punching,但这和挂载读写慢没有直接关系。更多是看 NFSv4 的 slot table 限制,以及服务端导出的 export 选项是否禁用了写入合入。比如使用 NFSv4.2 时,可以尝试加 vers=4.2 或 vers=4.1 对比一下,有些内核版本对 4.2 的 write delegation 支持还不稳定,反而出现明显的延迟抖动。如果你用的是 Ubuntu 20.04 自带的 5.4 内核,建议先测一下 4.2 和 4.1 的差异,再决定是否保持默认。

调整客户端 RPC 槽位

当网络没有丢包、服务端也不忙,但 NFS 并发读写吞吐上不去,可以看看客户端 sunrpc 的槽位限制。Linux 客户端默认的 tcp_slot_table_entries 是 16,队列浅的情况下,高并发请求会被排队。可以临时调大观察效果:

cat /sys/module/sunrpc/parameters/tcp_slot_table_entries
echo 128 > /sys/module/sunrpc/parameters/tcp_slot_table_entries

这个参数影响所有 NFS 挂载点,调大会增加内存占用和 RPC 重试时的压力。建议从 32 或 64 开始测,观察 nfsstat -rc 的 backlog 计数是否下降。如果下降不明显,就恢复原值。还有一个关联参数是 /sys/module/sunrpc/parameters/tcp_max_slot_table_entries,它决定上限,也要一起确认。直接写 echo 命令时需要注意权限,生产客户端上要用 sudo,且临时改动在重启后失效。

如果你希望持久化,可以在 /etc/modprobe.d/sunrpc.conf 写入 options sunrpc tcp_slot_table_entries=64,然后重新生成 initramfs。这一步只建议在确认有效后再做,因为参数影响整个客户端,而不仅仅是问题挂载点。改完后用 nfsstat -m 确认挂载点没有异常,再观察一段时间。

验证参数和回滚边界

参数调整后,先不要直接开始压力测试。建议先用 tar 或 rsync 准备一个接近业务大小的样本目录,跑一轮读写,记录耗时和服务端负载,再和调整前对比。对比时注意不同时间段的网络背景流量可能不同,最好选在同一低峰时段做。验证时看三个点:客户端 RPC 重传数、服务端 NFS 响应计数、以及应用侧实际延迟。

回滚边界很简单:把挂载参数改成接近默认的一组值,重启挂载即可。如果是临时通过 echo 改的 sunrpc 参数,重启客户端后恢复,没有持久化。如果是通过 /etc/modprobe.d 写入的,需要删除文件后重新生成 initramfs。整体上看,NFS 读写慢很少是单条参数造成的,先满足协议版本和网络 MTU 一致,再调 rsize/wsize 和 slot 表,能解决大部分问题。如果仍不见好转,建议重新审视服务端导出路径的存储池模式,比如是否用了 RAID5 或者网络存储本身有 QOS 限制。