多个离线模型同时加载到同一块 GPU 时,通常需要解决两个问题:一是显存占用总和超过物理显存,导致某个进程先触发 OOM;二是一个进程异常退出后,显存碎片或残留让其他进程无法继续。CUDA MPS(Multi-Process Service)常常被当作隔离工具来对比,但 MPS 本身并不提供显存上限,它解决的是多进程并发时的上下文切换开销。是否达到“隔离”效果,取决于你同时使用了哪种显存限制机制。
先分清:隔离什么
这里可以把“隔离”拆成三层,分别判断你的实际需求:
- 显存分配隔离:每个进程最多能用多少显存,超限后直接失败,不影响其他进程。
- 故障隔离:进程异常退出或显存耗尽后,其他进程仍能继续运行。
- 算力隔离:一个进程的高负载会压缩另一个进程的推理响应,通常用 MPS 的线程比例或 MIG 的算力分区来缓解。
适用条件
- 需要确认 GPU 型号:MPS 通常支持 Kepler 以后的 NVIDIA GPU;MIG 需要 NVIDIA Ampere 架构及以上,并且需要先通过 nvidia-smi 启用。
- 多模型进程必须运行在同一台物理机,且都使用 CUDA 直接访问该 GPU。
- 如果模型框架是 PyTorch,可以使用 torch.cuda.set_per_process_memory_fraction 做软限制;如果是 TensorFlow 或自定义 CUDA 代码,需要额外确认显存限制方式。
- 建议在 Linux 环境下操作,Windows 对 MPS 的支持不完整。
方案对比矩阵
以下列出的维度,可以在你自己的机器上通过命令和日志验证,不依赖第三方数据。
| 方案 | 显存隔离强度 | 配置动作 | 验证方式 | 典型取舍 |
|---|---|---|---|---|
| MIG 分区 | 硬隔离,每个实例有独立显存和 L2 | 开启 MIG,创建 GPU 实例,进程绑定实例 ID | nvidia-smi 查看实例列表;对一个实例持续加压,另一个实例的进程保持稳定 | 隔离最强,但分区数量固定,重启需要重新配置 |
| PyTorch 显存分数限制 | 软限制,单进程分配不能超过比例 | 在每个进程内调用 torch.cuda.set_per_process_memory_fraction | 让一个进程循环申请显存,观察触发 RuntimeError;同时运行另一个模型,确认其不中断 | 易于实施,但不覆盖非 PyTorch CUDA 显存分配 |
| CUDA MPS + 显存分数限制 | 软限制,但允许多进程共享 GPU 上下文,降低调度开销 | 启动 MPS 服务;客户端设置 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 和显存分数 | 启动两个模型后,用 nvidia-smi 观察 MPS 客户端进程;对一个进程压测,另一个进程的响应延迟上升但不应直接崩溃 | 适合小模型并发,能提高利用率,但 MPS 服务本身会成为故障点 |
| 仅启用 CUDA MPS | 无显存隔离 | 只启动 MPS 服务,不额外限制显存 | 一个进程耗尽显存后,另一个进程可能在下一次 cudaMalloc 时失败 | 不推荐作为隔离方案 |
配置示例与验证动作
下面是 MPS + PyTorch 显存分数的一个最小组合。关键路径是:先启动 MPS 服务,客户端在进程启动前设置线程比例,在代码内设置显存分数。
# 启动 MPS 服务,这里使用默认 socket 路径
export CUDA_VISIBLE_DEVICES=0
nvidia-cuda-mps-control -d
# 启动模型 A,限制活跃线程为 50%,显存分数为 0.5
export CUDA_MPS_ACTIVE_THREAD_PERCENTAGE=50
python run_model_a.py在 run_model_a.py 内加入:
import torch
torch.cuda.set_per_process_memory_fraction(0.5, device=0)注意:CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 只影响计算调度,不影响显存分配;torch.cuda.set_per_process_memory_fraction 会限制该进程在 PyTorch 内分配的显存总量。验证时,可以对 CPU 内存和显存分别制造压力,观察另一个进程是否还能正常完成一次推理。
风险边界
- MPS 服务的中止可能导致所有挂载进程同时报错,需要把 MPS 归入进程守护体系。
- MIG 启用后,整张 GPU 会被虚拟化为多个实例,不再支持原本的单卡直通模式,运维方式会变化。
- 显存分数限制只约束系统显存分配,不包含 CUDA context 本身的固定开销。
- MPS 的线程比例是百分比,意味着它只控制单核调度时间片的比例,不能精细控制算力上限。
如果只是预防 OOM,先从显存分数限制开始;如果还需要兼顾并发性能和故障隔离,再按硬件条件选择是否叠加 MPS 或改用 MIG。