本地部署模型Web界面的人,基本都会遇到一件事:模型加载进显存之后,哪怕没有对话,显存也一直被占着。我在自己的服务器上跑一个开源模型,平时只是偶尔用一下,结果一个模型就把整张卡吃满了,别的任务根本排不上。后来我做了个空闲超时自动卸载,简单说就是一段时间没有推理任务时,主动把模型从显存里卸掉。这里写一下我的处理思路,也把容易翻车的地方说清楚。
先界定什么是真正的空闲
刚开始我想得比较简单,以为只要Web界面上没有请求进来就算空闲。后来发现不是这么回事。HTTP请求可能只是传输连接,不等于模型真的没有在跑。直接看连接状态来判断,会误判。
判断模型是否空闲,不能只看Web服务是否有请求进来,要看最后一个推理任务是否已经完整结束。记录最后活动时间建议放在推理完成之后的回调里,而不是在接收请求时。如果请求体还在传输中、流式响应还没结束,或者后台批量任务正在排队,都不应该认为服务空闲。一个实用的做法是用一个线程安全的变量保存“最后完成时间”,每次推理完成就更新。同时要留意多线程环境下的时间戳竞争,最好使用带锁的整数或原子操作。仅仅依赖Web框架的session超时是不行的,因为那只是连接层,不代表模型调用已经结束。
顺着这个思路,我的做法是把“最后完成时间”放在推理函数返回的地方,而不是请求入口。另外一个容易漏掉的是流式生成,响应可能已经发了一部分,但生成还没结束,这时候不能算空闲。所以要在生成器完全耗尽之后才去更新这个时间。
卸载检查怎么写
知道了最后活动时间,接下来就是定时检查。一个省事的办法是起一个后台守护线程,每隔几十秒扫一次,超过阈值就去调用卸载函数。这部分的实现里,最要紧的是卸载动作的互斥。
实现空闲超时的核心是定期检查这个最后完成时间。可以启动一个后台守护线程,每隔一分钟左右检查一次;如果当前时间减去最后完成时间超过设定的阈值,例如30分钟,就调用模型卸载函数。卸载函数需要把模型对象从显存中释放,并清空推理缓存。需要注意,卸载函数执行期间要阻止新的推理请求进入,否则可能拿到一半的模型状态。一种简单的方法是加一个全局的“正在卸载”标志,在卸载前置为True,推理入口检查到该标志就返回503或者等待。卸载完成后要妥善处理可能的显存碎片,必要时可以用torch.cuda.empty_cache()等手动回收。
我自己的服务是FastAPI写的,我在应用启动时创建一个后台任务,循环休眠60秒然后调用检查函数。卸载标志用了一个带锁的布尔值,推理入口会先检查它。如果你用异步框架,记得把检查函数丢到线程池,别在事件循环里做耗时的显存回收。
几个容易踩的坑
在把自动停止跑起来之前,我建议先看一下这几种情况,很多服务就是因为这些细节被反复折腾。
一个常见坑是混淆HTTP keep-alive与模型空闲。即使客户端一直保持TCP连接,也不代表用户正在使用模型。另一个坑是在异步框架里使用同步的time.sleep阻塞事件循环,导致超时检查不准确。正确做法是用异步的sleep或者把检查放到后台线程。还有,如果模型同时被多个请求共享,要记录最后一个完成时间之外,还要统计当前正在进行的请求数,只有请求数为零且超过空闲阈值才能卸载。否则前一个请求刚完成,下一个请求还在排队,就被误杀。最后,卸载后的首次推理会重新加载模型,耗时可能长达数秒,要做好延迟容忍。
这里我特别想强调一下“并发请求数”这个字段。我的模型是并发处理的,刚开始只记最后完成时间,结果有个请求刚完成,另一个请求还在排队,时间差刚好超过阈值,模型就被卸载了。后来我在检查函数里加了一个当前请求计数的原子变量,只有请求数为零且超时,才允许卸载。你可以理解为:空闲超时不能只看“最后完成时间”,还要看“当前有没有人正在等待”。
阈值该设多少
空闲阈值的调整,本质是在省显存和响应时间之间做取舍。阈值太短,用户思考一会儿或者去查资料,回来模型已经被卸了,下一个问题要等重新加载,体验很糟。阈值太长,显存又一直占着,起不到释放的作用。
我的建议是先从15到30分钟开始跑,然后看日志里模型加载和卸载的次数。如果模型频繁被加载,说明阈值太小,用户卡在那个间隔里。如果显存一直不释放,说明阈值太大,可以再往低调。需要留意的是,卸载不光是清模型对象,还可能留下临时文件和GPU上下文,最好在卸载函数里一并处理。多用户环境下,还要考虑每个用户或会话的最后活动时间,不能只用一个全局时间,否则一个活跃用户会拖住整个服务。
验证自动停止有没有生效
写好之后,怎么确认真的生效了?最直接的办法就是看显存占用。加载模型后先记录一次显存,等超过空闲阈值后再查一次,对比占用是否下降。用nvidia-smi就可以,但注意过滤到当前进程,别被其他任务干扰。
nvidia-smi --query-compute-apps=pid,used_memory --format=csv这个命令会列出所有使用GPU的进程和显存,你可以找到自己服务的PID,把加载前和卸载后的used_memory对比一下。如果显存降下去了,说明卸载动作确实执行了。除了显存,也可以在卸载函数里加一行日志,比如打印“model unloaded”,这样通过Web界面或journalctl就能看到触发的记录。如果模型是用Ollama这类工具启动的,还可以通过它的API查询模型是否还在内存。
能不能直接复用现成机制
如果你不想自己写定时器,也可以看看你用的推理框架有没有提供空闲管理。比如Ollama有keep_alive参数,可以设置模型在内存中的保活时间,超过后自动卸载。vLLM也有类似的空闲超时配置。这些机制能做到模型层面的清理,但不等于Web界面会话超时,两者是分离的。如果你在Web层还做了自己的释放逻辑,要小心冲突,避免模型被卸载两次或者出现竞态。
另外要注意不同框架的清理粒度不一样,有的按模型,有的按整个GPU进程。如果你只是暂时不用,也可以考虑把模型置为暂停状态,而不是彻底卸载,这样恢复快,但显存不会省下来。所以还是得根据你本地的显存大小和用户使用习惯来选。
自动停止推理这个事,看起来是个小功能,但涉及线程、并发、显存管理,最容易翻车的往往是边界情况。我这边调整到20分钟阈值,配合日志观察,基本能满足自己一个人用。如果你也是本地部署,建议先按这个思路把“最后活动时间”和“并发请求数”这两个变量管好,再考虑阈值大小。