先别急着下调丢包率,得确认丢的是哪一层的包。很多人看到 sar 或 ifconfig 里 drop 增长,第一反应就是换网卡、开多队列,但有时候这些计数增长是正常的,比如多播过滤掉不需要的包,或者业务流量本身就有大量 UDP。排查前先想清楚:是接收还是发送丢包?是物理层错误,还是队列溢出?这决定了你该看 ethtool 还是 netstat。
先看接口统计,再决定下一步
判断丢包不能只看网卡中断计数。在确认丢包率前,先要明确是哪一层丢包。使用ip -s link查看接口统计,关注rx_dropped和tx_dropped。同时结合ethtool -S输出,特别是rx_crc_errors、rx_length_errors等错误计数。如果这些数值持续增长,说明物理层或驱动层存在问题,但仍需确认是否由突发负载或环回溢出引起。
这个步骤的意义在于把问题分层。如果rx_crc_errors增长,那大概率是网线、光模块或对端设备的问题,换驱动或调 ring buffer 意义不大。如果只是rx_dropped增长而错误计数为零,说明包是收到了但没来得及处理,这时才值得去调队列参数。你可以先抓两次ip -s link输出,间隔十几秒,对比计数变化,确认增长趋势,再决定要不要继续往下查。
用 ethtool -S 看驱动层的细节
ethtool -S 是排查网卡丢包的首选工具。执行ethtool -S eth0后,重点查看rx_dropped、rx_missed、rx_fifo_errors等。rx_missed表示因接收队列满而丢弃的包,常见于环回缓冲区过小或中断合并导致处理不及时。当rx_missed或rx_fifo_errors非零时,优先考虑调整 ring buffer 大小,即ethtool -G eth0 rx 4096,但需注意驱动支持,且修改后若未持久化,重启会恢复。
这些计数器在 Intel 和 Mellanox 网卡上命名不一定相同,比如有的叫rx_missed_errors,有的叫rx_no_buffers。先看你的驱动版本和型号,再对照字段含义。调整 ring buffer 时,建议先调大看效果,比如从默认值翻倍,观察丢包计数是否停止增长。如果调整后效果不明显,可以再看看中断合并参数,因为有时候是中断合并让包在硬件缓冲区里积压太久,触发溢出。
修改 ring buffer 后,要确认驱动是否支持动态调整,有些驱动要求先 down 接口再改。另外,ethtool -G 改的是运行时配置,重启后失效,需要写入配置文件或使用 systemd 服务来持久化。
netstat -i 和 etxt 的区别
netstat -i 提供接口级别的汇总,能快速比较输入输出的错误和丢弃。netstat -s 将协议层的统计展开,例如 TCP 的重传和丢失,但这块信息粒度较粗,难以定位网卡问题。推荐先用 netstat -i 定位到接口,再用 ethtool -S 深入细节。另外,netstat -i 中的 RX-ERR 和 TX-ERR 反映由驱动上报的错误,而 RX-DRP 和 TX-DRP 表示驱动丢弃的包,两者含义不同,需要区分。
实际操作中,我习惯先跑netstat -i看哪块接口有异常,如果 RX-ERR 或 RX-DRP 不断增长,再用 ethtool 查具体原因。netstat -s 里也有 IP 层和 TCP 层的丢包统计,但那些计数受路由、防火墙、socket 缓冲区等因素影响,不能直接归咎于网卡。例如,TCP 的ListenDrops增长是因为 accept 队列满,这跟网卡无关,需要改的是应用或内核的 somaxconn 参数。
中断合并参数需要小心调整
排查丢包时,容易忽略中断合并的影响。ethtool -c 可以查看当前中断合并参数。如果 rx-usecs 设置过大,网卡会积累一批包再触发中断,在负载波动时可能溢出缓冲区。可以考虑适当减小 rx-usecs 或 rx-frames,但代价是增加 CPU 开销。修改前先确认驱动支持,并使用 ethtool -c 查看当前值,修改后观察丢包计数是否回落。
中断合并是为了减少 CPU 中断次数而设计的,但业务流量是突发型的,在短时间涌入大量包时,合并机制会延迟处理,导致缓冲区不够用。如果你的业务是高频小包,比如 DNS 或游戏服务器,适当减小 rx-usecs 通常能改善;如果是大流量持续传输,反而会增大 CPU 开销。调整时可以从默认值的一半开始,观察 CPU 使用率和丢包计数,找到平衡点。
先排除正常丢包,再看驱动日志
某些丢包计数增长并不代表网络故障。例如,接口启用多播过滤时,未被需要的多播包会在硬件层被丢弃,rx_dropped 会增长,但这是正常现象。另外,网络命名空间或 iptables 规则也可能导致包被丢弃,但这不属于网卡层。因此,在判断丢包问题时,先审查业务环境,必要时用 tcpdump 抓包确认是否有其实发的流量。
除了计数器,dmesg 也应该看一眼。同时使用 dmesg 检查内核日志,可能发现 NIC 的警告或错误。例如“eth0: link up”或“r8169: link down”等事件,但有些驱动仅在严重故障时上报,如缓冲区溢出会打印“eth0: dropped packet”消息。若 dmesg 频繁出现类似记录,说明驱动层已有明显异常,此时调整参数作用有限,应考虑更新驱动或更换网卡。
有一个小问题需要注意:如果你在虚拟机或容器里排查,看到的网卡统计可能是宿主机虚拟交换机的统计,不是物理网卡的真实情况。这种情况下,ethtool 输出的字段和含义未必完整,需要结合宿主机的监控来判断。
最后,丢包率不是一个固定数值能定义的,同一台机器在不同 load 下的表现完全不同。建议先收集一段时间的基线数据(比如用 sar -n DEV 或 ifstat),再结合业务流量变化来判断。改任何参数前,记录当前配置,方便回滚。