无 GPU 服务器上跑 7B 模型,Ollama 默认会尽量把模型权重读入内存,物理内存不足时进程可能直接被 OOM Killer 终止。swap 的作用是给内存扩展一个慢速后备区,让模型能加载出来,但推理速度会明显下降。这个方案的目标是“能启动、能对话”,不是提升性能。先确认服务器是否真的无 GPU,再决定是否配置 swap。
前置条件:先确认内存与模型需求
- 查看物理内存和当前 swap:
free -h。如果 swap 为 0,且物理内存小于模型量化后的大小加系统开销,就值得配置。 - 7B 模型常见量化大小:Q4_K_M 约 4.1GB,Q8_0 约 7.2GB,FP16 约 14GB。具体以实际下载的文件大小为准。
- 确认 Ollama 已经安装并可用:
ollama list。如果没安装,先完成安装再处理 swap。 - 确认没有 GPU:
nvidia-smi一般不存在或报错;ls /dev/dri通常也没有渲染节点。无 GPU 时 Ollama 会走 CPU 推理。
配置 swap:先临时,再持久化
先用临时 swap 验证可行性,避免直接改 fstab 导致启动异常。下面的命令以 root 身份执行,或使用 sudo。
# 创建 8GB 的 swapfile(大小按需调整,建议先设为物理内存的 1.5 倍或模型大小 + 2GB)
fallocate -l 8G /swapfile
chmod 600 /swapfile
mkswap /swapfile
swapon /swapfile
# 确认生效
free -h
swapon `--show`如果 fallocate 不支持,可以改用 dd if=/dev/zero of=/swapfile bs=1M count=8192。临时 swap 只在本次开机内有效,重启后需要重新执行。确认能加载模型后,再写入 /etc/fstab 实现持久化:
/swapfile none swap sw 0 0写入后可以执行 mount -a 检查 fstab 语法是否正确,但真正的验证需要重启一次。如果服务器内存只有 8GB,swap 建议 8-16GB;如果内存更小,swap 可以更大,但不要超过磁盘剩余空间的可用量。
验证:模型能否加载并完成基础推理
配置 swap 后重启 Ollama 服务,然后拉取并运行目标模型。以 llama3.1:8b 或 qwen2.5:7b 这类常见 7B 模型为例,先确认模型文件已拉取,再发送一个简单请求。
ollama pull qwen2.5:7b
# 等拉取完成后,直接运行并给一个简短提示词
ollama run qwen2.5:7b "你好,用一句话介绍自己。"如果模型能输出回答,说明 swap 让模型加载成功。如果中途报 memory error 或进程被 kill,需要查看系统日志确认原因:
dmesg | tail -20 | grep -i oom
journalctl -u ollama `--since` "10 minutes ago"关键判断点:swap 使用量是否持续增长,模型回答速度是否慢到不可接受。如果回答一个短句需要几分钟,那这套方案只适合测试,不适合实际使用。
失败时回退:降低内存占用的几种顺序
swap 配置完成后仍然 OOM,或者推理慢到无法使用,可以按以下顺序调整,不需要再增加 swap。
- 换更小的量化版本:优先使用 Q4_K_M 或 Q3_K_M,而不是 Q8。检查当前模型标签,例如
qwen2.5:7b-q4_K_M比默认的 q4_0 通常更省内存。 - 减少并发请求:Ollama 默认允许并行处理多个请求,修改环境变量
OLLAMA_NUM_PARALLEL=1并限制并发,能显著降低峰值内存。设置后重启 Ollama。 - 调整模型加载行为:如果服务器只跑单个模型,设置
OLLAMA_KEEP_ALIVE=30s让模型空闲 30 秒后自动卸载,避免长期占用内存。 - 换更小参数模型:从 7B 降到 3B 或 1.5B,效果比继续增加 swap 更明显。
回退动作要可逆:临时 swap 用 swapoff /swapfile 即可卸载;从 fstab 删除对应行可以彻底恢复。如果因为内存不足导致系统不稳定,先重启服务器,再重新评估是否需要保留 swap。
这个方案的本质是“用磁盘换内存容量”,适合一次性测试、低并发环境或临时跑通流程。无 GPU 服务器上跑 7B 模型,即使加够 swap,推理速度也会比 GPU 慢一个数量级以上。如果目标是长期稳定提供服务,优先考虑升级物理内存或改用量化更小的模型,而不是依赖 swap。