在 Linux 服务器上本地部署大模型,通常可以拆成两件事:把模型权重放到本机磁盘上,选一个推理运行时把它加载起来;再把这个运行时变成一项能被本机脚本或内网其他机器调用的常驻服务。第一步决定“能不能跑”,第二步决定“能不能用”。动手前先确认显存或内存容量、模型规模与量化格式、使用者是谁(只自己用还是要开放给内网多人),以及需要 HTTP 接口还是命令行交互;这几项决定选 Ollama、llama.cpp 还是 vLLM,也决定要不要做 systemd 托管。
Linux 本地部署大模型的关键不在装哪个工具,而在先把资源与用法对齐:显存装得下就优先 GPU 推理,装不下就选更小参数或更低比特量化,不要靠 swap 硬撑。建议按“确认资源 → 固定模型目录与权限 → 安装运行时 → 内网绑定起服务 → systemd 托管”的顺序推进,每步都留一次 curl 或命令行验证。绑定地址只对内网开放,模型许可证和磁盘占用容易被忽略,需要提前确认。
先确认当前场景和目标
先确认这台机器具备什么条件:有没有可用的 GPU、显存多大、内存和磁盘剩余多少、是不是和别的服务共用。下面几条命令只读不写,建议先跑一遍,把输出记下来当基线。
nvidia-smi # 有无 GPU、显存总量与当前占用
lscpu | head -20 # CPU 核数与架构(x86_64 / aarch64)
free -h # 内存与 swap 现状
df -h /data # 模型权重存放目录的剩余空间
uname -r # 内核版本,装驱动或容器时需要对照
判断条件可以简化成三条:只自己用、偶尔调用,用 Ollama 或 llama.cpp 这类上手快的运行时即可;要开放给内网多人、并发较高且需要 OpenAI 兼容接口,再考虑 vLLM 这类偏服务的方案;只有 CPU、没有 GPU,就必须接受更小的模型或更低的量化等级,并且要预期响应会明显变慢。模型规模与显存是否匹配,建议直接按“参数量 × 每参数字节数”粗算,再把上下文长度和并发余量留出来,不要卡着上限跑。
按这个顺序处理
建议的顺序是:先固定模型存放目录并处理权限,再安装运行时,然后单独启动一次确认能加载,最后才做常驻托管。把模型放在系统盘以外的大盘上,用一个专用系统用户跑服务,后面排查会省很多事。

sudo useradd -r -s /sbin/nologin llmrun
sudo mkdir -p /data/models && sudo chown -R llmrun:llmrun /data/models
运行时按场景选一个即可,下面三段是可替换的通用示例,路径、模型名和端口都需要按自己环境改。Ollama 适合快速验证,改成对外服务前用环境变量把监听地址限定在内网网卡上。
# 方式一:Ollama,适合单机自用与快速验证
sudo systemctl edit ollama
# 在 override 中写入(地址按实际内网网卡替换):
[Service]
Environment="OLLAMA_HOST=192.168.1.10:11434"
Environment="OLLAMA_MODELS=/data/models/ollama"
sudo systemctl daemon-reload && sudo systemctl restart ollama
ollama pull <模型名>
ollama run <模型名> "用一句话说明你是什么模型"
# 方式二:llama.cpp,直挂 GGUF 权重,适合显存偏紧或需要精细控制
./llama-server -m /data/models/<文件名>.gguf \
--host 192.168.1.10 --port 8080 \
-ngl 99 -c 4096
# 方式三:vLLM,偏多人调用、需要 OpenAI 兼容接口
vllm serve /data/models/<模型目录> \
--host 192.168.1.10 --port 8000 \
--max-model-len 4096
确认单次启动正常后,再写 systemd 单元让它常驻,把 WorkingDirectory、模型路径和监听参数写死在单元文件里,避免重启后环境变量丢失。
# /etc/systemd/system/llm.service 骨架,按实际命令替换 ExecStart
[Unit]
Description=local llm server
After=network-online.target
[Service]
User=llmrun
WorkingDirectory=/opt/llm
ExecStart=/opt/llm/start.sh
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
启用后执行 sudo systemctl daemon-reload && sudo systemctl enable --now llm,再触发一次重启验证是否自启。

改完后怎么验证
验证不要只看进程在不在,要同时看接口、资源和日志三处。接口层面用一次最小请求确认能返回完整结构;资源层面看显存或内存在加载后是否稳定、有没有持续上涨;日志层面确认没有反复 OOM 重启的记录。
# 接口验证(OpenAI 兼容风格,端口按实际替换)
curl -s http://192.168.1.10:8000/v1/models
curl -s http://192.168.1.10:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"<模型名>","messages":[{"role":"user","content":"说三个字"}]}'
nvidia-smi # 加载后显存占用
systemctl status llm # 服务状态与最近日志
journalctl -u llm -n 50 --no-pager
预期信号是:/v1/models 返回的列表里能看到目标模型;对话请求返回带 choices 字段的 JSON,而不是超时或 500;nvidia-smi 显示显存被加载后稳定占用、不随请求次数持续增长;重启机器后 systemctl status llm 仍是 active。建议额外记下首次加载耗时和一次典型请求的往返耗时,作为后续换模型、调上下文长度时的对照基线,而不是拿来对外公布的数字。

容易忽略的边界
一是量化与精度:低比特量化能用更少显存跑起来,但输出质量和长上下文表现会有变化,需要用自己真实的任务试,不能默认等价于原始权重。二是监听地址与访问控制:把服务绑到 0.0.0.0 并放到公网网段,等于把一个无鉴权接口暴露出去,建议只绑内网地址,必要时加防火墙规则或前置一层带鉴权的入口。
三是资源回退的风险:显存不足时部分运行时会静默转到 CPU 或触发 swap,表现为“能跑但极慢”,这不是性能优化方案,只是应急;swap 尤其不能当作提升手段,发现回落后应改为更小模型或更低量化。四是版本与兼容性:驱动、CUDA、容器运行时和推理框架之间存在版本对应关系,升级其中一个前先确认真实依赖,保留可回退的旧启动脚本。
五是权限与存储:模型目录、日志目录和缓存目录要归同一个服务用户,否则容易出现“手动跑得通、systemd 起来报权限错”;模型文件通常较大,放在本地盘比放在网络挂载上更稳妥。六是许可证与数据:不同模型权重有各自的使用条款,商用或对外提供服务前需要自行确认;如果把用户输入写入日志或缓存,还要考虑这台机器上的数据留存范围。最后给出回退建议:先保留一个能稳定跑起来的小模型作为兜底,新方案验证不通过时切回原启动脚本,而不是在现场边调边改。