离线部署大模型的关键不在“把模型下载下来跑起来”,而在依赖能否整体搬到目标机。先看目标机硬件和系统版本(尤其显存、内存、磁盘、glibc、GPU 驱动),再定模型规模和推理框架。条件确认前就传模型权重,常因缺少运行时库或驱动版本不符而反复返工。建议把目标机当作交付物,从在一台可联网的中转机上准备离线依赖包开始。
离线部署可拆成三步:中转机准备依赖包、搬包到目标机、在目标机验证。纯 CPU 场景准备量化模型和轻量运行时较稳妥;有 GPU 则先确认驱动和 nvidia-smi 可用,再决定推理框架。搬运前对模型权重和 wheel 包做校验,并在目标机留旧环境用于回退。目标机 glibc 过旧、驱动缺失、内核头文件不全时,离线补装这些依赖的成本会很高,需提前确认,不要等报错再处理。
先确认当前场景和目标
动手前先回答几个问题,它们直接决定后续步骤能否成立。目标机有没有 NVIDIA GPU、驱动是否存在(运行 nvidia-smi 有无输出)、显存多大;CPU 核心数和内存是否够装下模型和运行时;磁盘剩余空间能否放下模型权重、wheel 包缓存和运行时缓存;系统发行版和 glibc 版本是否满足常见预编译包要求;有没有内网镜像源或可从 U 盘、跳板机搬入文件。任一项不确定,都应先查清再动手。
再确认目标用途:是单人本地对话、内部接口服务,还是批处理任务。单人本地对话对并发和延迟要求低,小参数量的量化模型配 CPU 或低显存 GPU 通常够用;对外服务则要确认并发量、上下文长度上限、是否需要鉴权和日志,再选择推理框架。以上条件决定用 llama.cpp 类轻量运行时,还是需要带调度能力的服务框架。
按这个顺序处理
先在中转机上准备依赖环境,再把文件搬到目标机,最后在目标机安装和启动。中转机建议与目标机保持同发行版、同 CPU 架构、同 Python 大版本,避免二进制包不兼容。以下为使用 Python 依赖时的常用做法,参数按目标机情况替换:
# 在中转机执行:把依赖下载为本地 wheel 包,不安装
python -m pip download -d ./wheelhouse -r requirements.txt \
--only-binary=:all: \
--platform manylinux2014_x86_64 \
--python-version 3.10 \
--implementation cp
# 目标机执行:只从本地目录安装,禁止联网
python -m pip install --no-index --find-links=./wheelhouse -r requirements.txt
系统级依赖同理,先在中转机用 apt-get install --download-only -o Dir::Cache::archives=./debs <包名> 或 yum install --downloadonly --downloaddir=./rpms <包名> 收集,再整体拷贝。模型权重建议同时带上校验文件,搬运后先校验再加载:

sha256sum -c model.sha256
# model.sha256 内容形如:<哈希值> <模型文件名>
启动方式建议固化成 systemd 服务,避免依赖登录会话:
[Unit]
Description=local llm service
After=network.target
[Service]
User=llm
WorkingDirectory=/opt/llm
Environment=HF_HOME=/opt/llm/cache
ExecStart=/opt/llm/venv/bin/python /opt/llm/serve.py \
--model /opt/llm/models/<模型目录> --port 8000
Restart=on-failure
[Install]
WantedBy=multi-user.target
ExecStart 中的启动脚本和参数是通用骨架,实际用哪个入口、监听哪个端口、模型路径写在哪,需要结合所选框架确认。工作目录和缓存目录必须让运行用户有写权限,这一项最容易被忽略。
改完后怎么验证
验证分三层,逐层确认比直接发请求更容易定位问题。第一层看依赖是否完整:在目标机虚拟环境中执行 python -c "import <主模块>",没有 ImportError、undefined symbol 这类报错说明二进制层面基本就位;对编译产物可用 ldd <可执行文件> 检查是否还有 not found 的动态库。第二层看能不能跑出结果:用一句固定提示词做短输出测试,例如 ./main -m <模型文件> -p "你好" -n 32,预期是能稳定返回文本,进程不异常退出,显存或内存占用在预期范围内。
第三层看服务是否可用:启动 systemd 服务后执行 systemctl status <服务名>,确认状态为 active;如果框架提供兼容 OpenAI 的接口,可用下面请求做端到端确认,预期返回体中 choices 非空:

curl -s http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"local","messages":[{"role":"user","content":"用一句话说明离线部署的注意点"}]}'
再做一次重启验证:重启目标机,确认服务能自启,模型目录和缓存目录路径没有因为用户切换而失效。长上下文和大 batch 场景还要单独试一次,观察是否出现内存或显存不足的退出,不要只凭短请求通过就认定配置可用。
容易忽略的边界
最常见的问题是 glibc 版本。预编译的 wheel 或二进制通常要求较高的 glibc,目标机版本偏低时装不上,也编译不了。这种情况不建议在目标机现场编译,成本高且容易再缺依赖,更稳妥的做法是换一台系统版本较新的机器,或改用对系统依赖更少的方案。GPU 驱动同理:驱动缺失时离线补装要匹配内核版本和内核头文件,失败会牵连启动,建议在部署前就确认目标机驱动已就位,不要把它当作部署中的可选项。
权限和路径也会带来问题。手动测试用 A 用户、服务运行用 B 用户时,模型文件读不到、缓存目录写不进,表现是服务启动即退出,日志里只有路径相关的报错。建议固定运行用户,把模型、缓存、日志目录统一放到一个可写位置。磁盘要预留模型权重之外的空间,量化模型和完整的轮子包目录往往会超出预期。
回退方案要提前留:保留上一版虚拟环境目录、记录模型文件哈希、保留一份纯 CPU 的小模型兜底配置。目标机不满足 GPU 条件,或驱动更新失败时,切回 CPU 方案能保证服务不断。另外注意模型权重和推理框架各自的许可条款,内部使用和对外分发的要求可能不同,这一点需要结合实际情况确认。交换分区只能缓解内存不足,不能当作提升推理速度的手段。