AMD 显卡使用 Ollama 跑 Qwen 模型时 prompt 处理速度慢的优化配置

文章导读
prompt处理速度慢基本发生在prefill阶段,也就是模型读取并编码prompt的阶段。对AMD显卡来说,Ollama走的是ROCm后端,常见原因是模型层没有完整加载到显存、上下文长度超出实际预算、或者未启用flash attention。下面的步骤不保证每台机器都同样有效,但按顺序做一遍能帮你判断瓶颈在哪里,并且最多花十分钟能验证到变化。
📋 目录
  1. Ⅰ 前置条件
  2. Ⅱ 确认瓶颈:先看模型是否在 GPU 上
  3. Ⅲ 调整 Ollama 配置:让 prefill 尽量在显卡内完成
  4. Ⅳ 验证 prompt 处理速度
  5. Ⅴ 失败时的回退路径
A A

prompt处理速度慢基本发生在prefill阶段,也就是模型读取并编码prompt的阶段。对AMD显卡来说,Ollama走的是ROCm后端,常见原因是模型层没有完整加载到显存、上下文长度超出实际预算、或者未启用flash attention。下面的步骤不保证每台机器都同样有效,但按顺序做一遍能帮你判断瓶颈在哪里,并且最多花十分钟能验证到变化。

前置条件

先确认三件事:一是AMD显卡驱动和ROCm组件已经装好;二是Ollama服务能正常调起模型;三是目标Qwen模型已经拉到本地。如果rocm-smi命令不存在,说明ROCm可能没有装全,后续步骤先不继续,优先修复驱动安装。

  • 显卡型号:RX 6000系、RX 7000系通常是Ollama使用ROCm时的常见对象;其他型号需要额外确认支持性。
  • 驱动:确认驱动已安装,且rocm-smi可用。
  • 模型:本地已有Qwen模型,例如qwen2.5:7b;如果还没有,先拉取一个稳定标签。

确认瓶颈:先看模型是否在 GPU 上

用ollama ps看当前模型加载状态。在PROCESSOR列如果显示GPU,说明模型层都在显卡;显示CPU/GPU则说明一部分层被卸载到了CPU。prompt处理最怕层在CPU/GPU之间切换,所以优先确认这一点。

ollama ps

同时另开终端运行rocm-smi -d 0,在发送一个长prompt时观察GPU利用率。如果利用率持续偏低但prompt处理很慢,多数是算子兼容问题;如果显存占满但利用率很高,则接近算力上限,调整方向更多是减小上下文或换小模型。各显卡的“利用率偏高”标准不同,需要结合环境确认。

调整 Ollama 配置:让 prefill 尽量在显卡内完成

调整Ollama配置时,不建议直接改默认,而是建一个Modelfile从原模型派生。把下面内容保存为Modelfile,注意qwen2.5:7b替换成你实际用的模型标签。

AMD 显卡使用 Ollama 跑 Qwen 模型时 prompt 处理速度慢的优化配置
FROM qwen2.5:7b
PARAMETER num_gpu 999
PARAMETER num_ctx 4096
PARAMETER num_thread 4

num_gpu设置为一个很大的值(999),作用是让Ollama尽量把全部层加载进GPU;如果显存不够,Ollama会自动回退到可用层数。num_ctx控制上下文长度,4096是保守值,太长会占用大量KV cache,反而拖慢prefill。num_thread根据CPU核数调整,避免CPU与GPU协作时线程竞争。然后执行ollama create my-qwen -f Modelfile,后续验证用my-qwen这个新模型名。

环境变量需要在启动Ollama服务前设置。Linux下可在systemd override中追加,或当前终端export后重启Ollama。两个变量通常值得试:

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KEEP_ALIVE=30m

OLLAMA_FLASH_ATTENTION用于启用flash attention,ROCm后端同样接受该选项,但需要结合当前Ollama版本确认是否生效;OLLAMA_KEEP_ALIVE让模型常驻,避免每次请求重新加载模型,这会把“加载时间”从首次prompt处理中剔出去。

如果前面都做了,模型仍回退到CPU,并且你的显卡型号不在ROCm官方支持列表里,可以尝试设置HSA_OVERRIDE_GFX_VERSION。取值不是通用的,需要查对应显卡架构,设置后必须重新启动Ollama并验证是否出现显存错误。这个变量属于兜底手段,不建议一开始就配置。

AMD 显卡使用 Ollama 跑 Qwen 模型时 prompt 处理速度慢的优化配置

验证 prompt 处理速度

验证用同一份prompt和同一长度,优化前后各测一次。Ollama API的非流式响应中会返回prompt_eval_duration和prompt_eval_count,前者就是prefill阶段消耗的纳秒数。

curl -s http://localhost:11434/api/generate -d '{"model":"my-qwen","prompt":"请用三句话解释梯度下降","stream":false}' | jq '{prompt_eval_count, prompt_eval_duration}'

没有jq时直接去掉管道,看原始JSON。换算速度:token每秒 = prompt_eval_count / (prompt_eval_duration / 1e9)。记录优化前后的数值和响应里是否有error或warning。如果数值没有变化甚至变差,说明该项配置不是当前瓶颈,不要硬留。

失败时的回退路径

回退路径按两个层次:如果新模型无法生成,先删除Modelfile派生模型,回到原始模型标签;如果仍然慢,把环境变量注释或取消,再重启Ollama。检查服务日志:Linux下journalctl -u ollama -f,Windows/macOS看服务控制台或日志文件。日志中如果出现显存不足或warn,就用更小上下文或更小量化模型,例如把qwen2.5:7b换成qwen2.5:3b。

回退不是性能损失,而是用来排除无效配置。优化配置的价值是让可用的资源跑满,而不是强行做一个跑不起来的方案。