从 Ollama 迁移到 llama.cpp 时需同步调整的 prompt 模板参数验证

文章导读
从 Ollama 迁移到 llama.cpp 时,模型权重通常可以原样使用,但 prompt 模板往往不能直接沿用。Ollama 在运行时由其内置的模板引擎根据模型文件中的配置拼装上下文,而 llama.cpp 需要你显式传入完整的模板字符串;同一模型在两个服务下可能输出完全不同。迁移时真正要做的不是拷参数,而是把模板拆开验证:哪些是系统提示、哪些是用户输入、哪些是对话历史,逐段确认后再放进 ll
📋 目录
  1. A 迁移前先确认模板差异
  2. B 在 llama.cpp 中设置模板的最小操作
  3. C 验证模板参数是否生效的清单
  4. D 模板异常时的回退与排查
  5. E 建议保留下这份模板参数对照表
A A

从 Ollama 迁移到 llama.cpp 时,模型权重通常可以原样使用,但 prompt 模板往往不能直接沿用。Ollama 在运行时由其内置的模板引擎根据模型文件中的配置拼装上下文,而 llama.cpp 需要你显式传入完整的模板字符串;同一模型在两个服务下可能输出完全不同。迁移时真正要做的不是拷参数,而是把模板拆开验证:哪些是系统提示、哪些是用户输入、哪些是对话历史,逐段确认后再放进 llama.cpp。

迁移前先确认模板差异

前置条件是拿到两边的实际模板。Ollama 侧可以通过 ollama show <模型名> `--modelfile` 查看 Modelfile 中的 TEMPLATE 字段;llama.cpp 侧则要看启动时使用的 -p 参数或配置文件中定义的模板。同一个模型在两个环境下的模板很可能在空格、换行、特殊标记(如 <|im_start|>)上有细微差异,这些差异会直接影响生成质量。

建议先做一个最小对比:把 Ollama 的 TEMPLATE 原样拷贝到 llama.cpp 中,用同一个问题分别请求两边,观察输出是否一致。如果输出差异明显,先不要调采样参数,优先怀疑模板没有正确传参。

在 llama.cpp 中设置模板的最小操作

llama.cpp 通常通过 -p 传入用户提示词,但完整的对话格式需要你手动拼好。最稳妥的方式是在客户端代码里维护一份模板字符串,而不是依赖命令行拼接。下面是一个通用的调用骨架,适用于 llama-server 的 HTTP API:

# 从 Ollama Modelfile 中读到的模板示例(请替换成实际值)
TEMPLATE_STR = "<|system|>{system}<|end|>{history}<|user|>{user}<|end|><|assistant|>"

# 在调用 /completion 时,把拼好的完整文本作为 prompt
payload = {
    "prompt": TEMPLATE_STR.format(
        system="You are a helpful assistant.",
        history="",
        user="介绍一下你自己",
    ),
    "n_predict": 256
}

实际使用时,history 字段要换成多轮对话的拼接结果,且每一轮都要严格按模板里的角色标记包好。注意 llama-server 的 /completion 接口不会帮你做角色切换,拼错一个标记就可能导致整个上下文失效。

从 Ollama 迁移到 llama.cpp 时需同步调整的 prompt 模板参数验证

验证模板参数是否生效的清单

验证不能只看一次输出是否通顺。建议先用三类输入做回归,每类跑三次以上:

  • 单轮指令:直接问“1+1=?”,确认模板中没有多余换行导致指令被截断。
  • 多轮上下文:先问“我的名字是张三”,再问“我叫什么”,确认历史被正确塞入模板。
  • 系统提示词:设定一个强约束(如“只回复JSON”),确认系统段没有被用户输入覆盖。

每轮测试后检查生成内容首尾是否有多余标记(如 <|end|> 被模型输出),如果出现,说明模板中角色结束符缺了一个。

另一个直接验证方法是让模型复述你的模板结构。用“请用以下格式回答:第一段是你的系统提示词,第二段是用户输入”这样的问题,看模型是否准确识别。这不能保证模板完全正确,但能快速暴露拼接顺序错误。

从 Ollama 迁移到 llama.cpp 时需同步调整的 prompt 模板参数验证

模板异常时的回退与排查

如果换用自定义模板后结果反而变差,优先回退到 llama.cpp 内置的模板。启动 llama-server 时通常可以通过 `--jinja` 或 `--chat-template` 指定内置模板,具体参数名称以当前版本 `--help` 输出为准。先放弃自定义模板,使用内置模板确认模型本身能否正常工作。

排查时不要同时改模板和采样参数。先固定 temperature 为 0.7、top_p 为 0.9,只调整模板;等输出稳定后再单独调整采样。如果 Ollama 侧原本使用了特定参数(如 stop、num_ctx),这些参数与模板无关,但仍会改变生成结果,迁移时也应一并核对。

另一个常见问题是模板中的转义字符不一致。Ollama 的 Modelfile 中写 {{ if }} 这种模板语法,而 llama.cpp 直接使用字面量。如果你直接从 Ollama 复制模板,需要先去掉 Jinja 逻辑,只保留最终的文本质地。{{ .Prompt }} 之类的位置变量要替换成实际文本拼接。

建议保留下这份模板参数对照表

参数Ollama 位置llama.cpp 位置
系统提示词Modelfile 的 TEMPLATE 中由你写在 prompt 字符串里
对话历史服务端自动拼接需手动构造
角色标记模板语法生成直接书写
停止词Modelfile 的 STOP启动参数或 API 的 stop

最后提醒:迁移时先以“完全复制”为起点,待基本功能正常后再尝试精简。不要一开始就追求模板优化,那是后续工作。