用 Docker 部署 ChatGLM3 Web UI 时,容器经常在加载权重或推理过程中突然退出,这类问题大多与内存限制有关。这里记录一次典型的排查思路和参数调整方法,适用于已安装 NVIDIA Container Toolkit 的环境,也适用于纯 CPU 推理。
先判断是不是容器 OOM
当ChatGLM3 Web UI容器在部署后出现进程被强制终止,且docker inspect返回的OOMKilled字段为true时,可以基本确定是容器内存超限。此时登录宿主机执行dmesg | grep -i oom,通常能看到内核记录的具体进程和内存占用,可以辅助确认是模型加载还是推理阶段触发的。若容器没有显式限制内存,但宿主机本身内存不足,同样会出现类似现象,需要先区分是容器limit还是宿主机资源竞争。
执行命令的位置是宿主机,不是容器内。先看容器的退出状态:
docker inspect `--format` '{{.State.OOMKilled}}' <container_id>
sudo dmesg | grep -i oom如果输出是 true,再通过内核日志看具体消耗内存的进程。输出里通常会列出被杀的进程名、PID 和占用内存。重点看当时是模型权重映射阶段,还是处理请求时 KV cache 增长导致的。这个位置决定了下一步改内存上限还是改并发参数。
给容器设置明确的内存上限
启动ChatGLM3容器时,建议通过`--memory`参数显式设置内存上限,例如`--memory`=8g。同时配合`--memory-swap`设置相同的值,以关闭swap对内存的缓冲,避免容器因swap而表现缓慢但实际内存超限。需要注意的是,模型权重、KV cache和CUDA上下文都会计入容器的内存统计,因此设置的限制值要大于模型文件大小加推理时峰值内存的估算值,否则会在加载阶段就触发OOM。
在实际启动命令里,可以把内存限制和自动重启放在一起:
docker run `--gpus` all -d `--name` chatglm3-webui `--memory`=8g `--memory-swap`=8g `--restart`=on-failure:5 -p 8080:8080 your-chatglm3-webui-image这里把 `--memory` 和 `--memory-swap` 设为相同值,可以防止容器在内存超限后去使用宿主机的 swap。8g 只是一个示例值,如果你拉取的是 ChatGLM3-6B 的原版权重,加载到内存后静态占用可能就接近 12GB,8g 会在加载阶段直接退出。建议先用 nvidia-smi 看一下显存,再用 docker stats 看当前镜像在空载时的基础内存,再决定限制值。`--restart`=on-failure:5 表示最多重启 5 次,调试阶段可以先加上。
GPU 部署时显存和容器内存的差异
使用GPU部署时,NVIDIA容器运行时会将显存映射到进程地址空间,但容器内存限制主要针对系统内存。若模型推理时显存不足,往往表现为CUDA out of memory,而非容器OOM。真正的容器OOM通常发生在CPU推理或模型权重从内存映射时。排查时不要只盯着显存,还要看容器的RSS和Cache占用,尤其当数据集或向量索引被加载到内存时,内存占用会迅速攀升。
容易忽略的是:ChatGLM3 Web UI 如果启用了知识库或向量索引功能,加载文档时会额外消耗大量内存,这部分不会反映在显存里。遇到容器被杀时,先看内核日志里是不是 python 进程,再看是不是加载索引的时间点。如果是,就把向量库的加载逻辑放到模型加载之后,并调低 batch size。
用 cgroup 和 docker stats 观察真实占用
定位 OOM 不能只看容器退出码。可以在运行期间记录容器内存变化:
docker stats `--no-stream` <container_id>
cat /sys/fs/cgroup/memory/memory.usage_in_bytes第一条命令观察 MEM USAGE 是不是在推理请求时才猛涨,还是一启动就接近限制值。第二条命令进入容器执行,看的是当前 cgroup 的控制组内存用量,和 docker stats 对应。要注意容器内执行 free -h 看到的是宿主机全局内存,不能代表当前容器可用内存,在排查时容易被误导。这一段检查适合在容器正常运行但怀疑快超限时做,也可以配合 watch -n 1 docker stats 持续观察。
OOM 后的重启策略与调整方向
容器被 OOM 杀掉后,日志里往往没有 Python traceback,只有 Killed。前面示例里的 `--restart`=on-failure:5 能让容器在非正常退出时最多重启 5 次,适合调试阶段。但要注意,如果内存限制设置过低,容器会反复重启,每次都要重新加载模型,反而加重宿主机 load。更稳妥的做法是先降低并发数,例如把 ChatGLM3 的请求线程数调到 1,或者改用 4bit 量化版本,让内存峰值先降下来。调整之后再逐步提高限制值,直到容器能在持续请求下稳定运行。
如果宿主机内存本身不够,加限制没有意义,反而会加剧其他服务的 OOM。这种情况要先扩容或者迁移。关键点在于:先确认 OOM 是容器限制还是宿主机竞争,再调参数,最后用 docker stats 和 cgroup 验证。