多个离线模型共存时的显存隔离方案:基于MPS或CUDA MPS配置的对比测试

文章导读
多个离线模型同时加载到同一块 GPU 时,通常需要解决两个问题:一是显存占用总和超过物理显存,导致某个进程先触发 OOM;二是一个进程异常退出后,显存碎片或残留让其他进程无法继续。CUDA MPS(Multi-Process Service)常常被当作隔离工具来对比,但 MPS 本身并不提供显存上限,它解决的是多进程并发时的上下文切换开销。是否达到“隔离”效果,取决于你同时使用了哪种显存限制机制。
📋 目录
  1. 一 先分清:隔离什么
  2. 二 适用条件
  3. 三 方案对比矩阵
  4. 四 配置示例与验证动作
  5. 五 风险边界
A A

多个离线模型同时加载到同一块 GPU 时,通常需要解决两个问题:一是显存占用总和超过物理显存,导致某个进程先触发 OOM;二是一个进程异常退出后,显存碎片或残留让其他进程无法继续。CUDA MPS(Multi-Process Service)常常被当作隔离工具来对比,但 MPS 本身并不提供显存上限,它解决的是多进程并发时的上下文切换开销。是否达到“隔离”效果,取决于你同时使用了哪种显存限制机制。

先分清:隔离什么

这里可以把“隔离”拆成三层,分别判断你的实际需求:

  • 显存分配隔离:每个进程最多能用多少显存,超限后直接失败,不影响其他进程。
  • 故障隔离:进程异常退出或显存耗尽后,其他进程仍能继续运行。
  • 算力隔离:一个进程的高负载会压缩另一个进程的推理响应,通常用 MPS 的线程比例或 MIG 的算力分区来缓解。

适用条件

  • 需要确认 GPU 型号:MPS 通常支持 Kepler 以后的 NVIDIA GPU;MIG 需要 NVIDIA Ampere 架构及以上,并且需要先通过 nvidia-smi 启用。
  • 多模型进程必须运行在同一台物理机,且都使用 CUDA 直接访问该 GPU。
  • 如果模型框架是 PyTorch,可以使用 torch.cuda.set_per_process_memory_fraction 做软限制;如果是 TensorFlow 或自定义 CUDA 代码,需要额外确认显存限制方式。
  • 建议在 Linux 环境下操作,Windows 对 MPS 的支持不完整。

方案对比矩阵

以下列出的维度,可以在你自己的机器上通过命令和日志验证,不依赖第三方数据。

方案显存隔离强度配置动作验证方式典型取舍
MIG 分区硬隔离,每个实例有独立显存和 L2开启 MIG,创建 GPU 实例,进程绑定实例 IDnvidia-smi 查看实例列表;对一个实例持续加压,另一个实例的进程保持稳定隔离最强,但分区数量固定,重启需要重新配置
PyTorch 显存分数限制软限制,单进程分配不能超过比例在每个进程内调用 torch.cuda.set_per_process_memory_fraction让一个进程循环申请显存,观察触发 RuntimeError;同时运行另一个模型,确认其不中断易于实施,但不覆盖非 PyTorch CUDA 显存分配
CUDA MPS + 显存分数限制软限制,但允许多进程共享 GPU 上下文,降低调度开销启动 MPS 服务;客户端设置 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 和显存分数启动两个模型后,用 nvidia-smi 观察 MPS 客户端进程;对一个进程压测,另一个进程的响应延迟上升但不应直接崩溃适合小模型并发,能提高利用率,但 MPS 服务本身会成为故障点
仅启用 CUDA MPS无显存隔离只启动 MPS 服务,不额外限制显存一个进程耗尽显存后,另一个进程可能在下一次 cudaMalloc 时失败不推荐作为隔离方案

配置示例与验证动作

下面是 MPS + PyTorch 显存分数的一个最小组合。关键路径是:先启动 MPS 服务,客户端在进程启动前设置线程比例,在代码内设置显存分数。

多个离线模型共存时的显存隔离方案:基于MPS或CUDA MPS配置的对比测试
# 启动 MPS 服务,这里使用默认 socket 路径
export CUDA_VISIBLE_DEVICES=0
nvidia-cuda-mps-control -d

# 启动模型 A,限制活跃线程为 50%,显存分数为 0.5
export CUDA_MPS_ACTIVE_THREAD_PERCENTAGE=50
python run_model_a.py

在 run_model_a.py 内加入:

import torch
torch.cuda.set_per_process_memory_fraction(0.5, device=0)

注意:CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 只影响计算调度,不影响显存分配;torch.cuda.set_per_process_memory_fraction 会限制该进程在 PyTorch 内分配的显存总量。验证时,可以对 CPU 内存和显存分别制造压力,观察另一个进程是否还能正常完成一次推理。

风险边界

  • MPS 服务的中止可能导致所有挂载进程同时报错,需要把 MPS 归入进程守护体系。
  • MIG 启用后,整张 GPU 会被虚拟化为多个实例,不再支持原本的单卡直通模式,运维方式会变化。
  • 显存分数限制只约束系统显存分配,不包含 CUDA context 本身的固定开销。
  • MPS 的线程比例是百分比,意味着它只控制单核调度时间片的比例,不能精细控制算力上限。

如果只是预防 OOM,先从显存分数限制开始;如果还需要兼顾并发性能和故障隔离,再按硬件条件选择是否叠加 MPS 或改用 MIG。