在Web界面中切换不同模型时,如何避免显存碎片?

文章导读
在Web界面中做模型切换,显存碎片通常不会在第一次加载时暴露,而是在反复切换后冒出来。下面按“判断—释放—验证”的顺序写,适合已经复现 CUDA out of memory,但又不想每次靠重启服务解决的问题场景。
📋 目录
  1. 壹 先判断是不是真碎片
  2. 贰 释放模型对象,三步要一起做
  3. 叁 empty_cache 不是万能清理器
  4. 肆 预分配和进程隔离更稳
  5. 伍 多线程和全局引用是常见的坑
  6. 陆 改完后看这几个信号
A A

在Web界面中做模型切换,显存碎片通常不会在第一次加载时暴露,而是在反复切换后冒出来。下面按“判断—释放—验证”的顺序写,适合已经复现 CUDA out of memory,但又不想每次靠重启服务解决的问题场景。

先判断是不是真碎片

在改动代码前,先用现有状态确认问题方向。如果只是单次加载大模型就 OOM,优先查显存总量和 max_memory 设置;只有切换多次后才出现、重启又恢复,才值得把显存碎片列为主要怀疑对象。

在Web界面中频繁切换模型时,如果发现显存占用逐渐上升,而实际模型大小并未增加,很可能就是显存碎片在累积。可以通过`torch.cuda.memory_summary()`查看内存分配情况,若列表中存在大量小的空闲块,而无法满足后续大块分配请求,就说明碎片化已经比较严重。另外,当切换模型出现`CUDA out of memory`但重启后又能正常加载,也是典型的碎片现象。

上面两个判断条件要同时用:memory_summary() 能看到空闲块分布,OOM 重启恢复能说明不是模型权重本身变大。如果这两点都对不上,继续调 empty_cache 也只是推迟问题。

释放模型对象,三步要一起做

确认碎片后,常见的处理方式是在切换模型时执行一套完整的清理动作。单独删除变量通常不够,因为 Python 的引用计数和 PyTorch 的缓存分配器各自有一层状态。

切换模型前,需要确保旧模型对象被完全释放。除了删除对模型的引用,还应调用`gc.collect()`来回收Python引用,之后执行`torch.cuda.empty_cache()`将缓存中的碎片内存返还给CUDA。需要注意的是,`empty_cache()`只是把PyTorch的缓存块交还给系统,并不保证物理内存立即释放,但它能减少下次分配时的碎片匹配难度。

在Web界面中切换不同模型时,如何避免显存碎片?

执行顺序建议固定为:先删除所有对模型的引用,再调用 gc.collect(),最后执行 empty_cache()。在 Web 请求处理函数中,如果模型是局部变量,函数返回后引用会消失;如果模型挂在全局变量或 app.state 上,需要显式置空或删除键值。

model = None; gc.collect(); torch.cuda.empty_cache()

empty_cache 不是万能清理器

清理动作要有限度。很多人喜欢在每次切换后都调 empty_cache(),但这样做副作用明显。

使用`torch.cuda.empty_cache()`并非没有代价。频繁调用会降低性能,因为它会触发CUDA上下文同步,可能阻塞当前计算流。而且它只能清理PyTorch缓存内存,对CUDA运行时的其他分配无效。因此,在每次切换模型时都调用并不合适,应该在分配失败或确认碎片严重时再用。更推荐的做法是在代码中主动管理模型对象的生命周期,而不是依赖事后清理。

empty_cache 该做回收动作,而不是预防动作。建议在模型加载报 CUDA OOM 后重试前,或者监控脚本发现 memory_reserved 明显高于 memory_allocated 时使用。平时切换模型只做引用释放和 gc.collect() 就够了。

在Web界面中切换不同模型时,如何避免显存碎片?

预分配和进程隔离更稳

如果切换频率高,或者模型尺寸差异大,单靠清理很难完全避免碎片。可以从分配策略上兜底:在服务启动时一次性加载所有可能用到的模型,切换时通过显存映射或子进程/服务进程来隔离不同模型。这样虽然占用总显存较高,但能避免动态加载和卸载产生的碎片。模型较多无法常驻时,可以按需加载但限制同时存在的模型数量,比如用 LRU 缓存策略,并在淘汰时彻底释放。

子进程隔离的回收边界最干净:即使子进程里的显存碎片再严重,进程退出后资源都会交还。代价是每次切模型要重新加载权重,首次访问会变慢。子进程隔离方案更适合模型数量少、切换后停留时间长的服务。

多线程和全局引用是常见的坑

代码写对了,环境也可能把释放动作挡住。在 Web 框架中,模型如果被保存在全局变量或请求处理类里,函数调用结束后引用仍然存在,显存不会释放。多线程处理请求时,如果多个线程同时持有不同模型的引用,执行 empty_cache 也可能因为引用计数非零而无效。处理方式是给模型加载和卸载加引用计数或读写锁,确认没有请求正在使用旧模型后再卸载。

改完后看这几个信号

收尾时不要只看模型还能不能加载,要观察一段连续切换过程。可以记录每次切换前后 torch.cuda.memory_reserved() 的值:如果该值保持不变,但 memory_allocated() 波动很大,说明缓存中有大量碎片;如果 memory_reserved 持续上涨,则优先怀疑引用泄漏,而不是碎片。

处理显存碎片没有一次性彻底方案,通常需要在清理、预分配和进程隔离里选一种组合。建议按上面的顺序检查,再做改动,并且保留切换前后的显存日志,下次出现 OOM 时能直接对比。