从 Ollama 迁移到 llama.cpp 时,模型权重通常可以原样使用,但 prompt 模板往往不能直接沿用。Ollama 在运行时由其内置的模板引擎根据模型文件中的配置拼装上下文,而 llama.cpp 需要你显式传入完整的模板字符串;同一模型在两个服务下可能输出完全不同。迁移时真正要做的不是拷参数,而是把模板拆开验证:哪些是系统提示、哪些是用户输入、哪些是对话历史,逐段确认后再放进 llama.cpp。
迁移前先确认模板差异
前置条件是拿到两边的实际模板。Ollama 侧可以通过 ollama show <模型名> `--modelfile` 查看 Modelfile 中的 TEMPLATE 字段;llama.cpp 侧则要看启动时使用的 -p 参数或配置文件中定义的模板。同一个模型在两个环境下的模板很可能在空格、换行、特殊标记(如 <|im_start|>)上有细微差异,这些差异会直接影响生成质量。
建议先做一个最小对比:把 Ollama 的 TEMPLATE 原样拷贝到 llama.cpp 中,用同一个问题分别请求两边,观察输出是否一致。如果输出差异明显,先不要调采样参数,优先怀疑模板没有正确传参。
在 llama.cpp 中设置模板的最小操作
llama.cpp 通常通过 -p 传入用户提示词,但完整的对话格式需要你手动拼好。最稳妥的方式是在客户端代码里维护一份模板字符串,而不是依赖命令行拼接。下面是一个通用的调用骨架,适用于 llama-server 的 HTTP API:
# 从 Ollama Modelfile 中读到的模板示例(请替换成实际值)
TEMPLATE_STR = "<|system|>{system}<|end|>{history}<|user|>{user}<|end|><|assistant|>"
# 在调用 /completion 时,把拼好的完整文本作为 prompt
payload = {
"prompt": TEMPLATE_STR.format(
system="You are a helpful assistant.",
history="",
user="介绍一下你自己",
),
"n_predict": 256
}
实际使用时,history 字段要换成多轮对话的拼接结果,且每一轮都要严格按模板里的角色标记包好。注意 llama-server 的 /completion 接口不会帮你做角色切换,拼错一个标记就可能导致整个上下文失效。
验证模板参数是否生效的清单
验证不能只看一次输出是否通顺。建议先用三类输入做回归,每类跑三次以上:
- 单轮指令:直接问“1+1=?”,确认模板中没有多余换行导致指令被截断。
- 多轮上下文:先问“我的名字是张三”,再问“我叫什么”,确认历史被正确塞入模板。
- 系统提示词:设定一个强约束(如“只回复JSON”),确认系统段没有被用户输入覆盖。
每轮测试后检查生成内容首尾是否有多余标记(如 <|end|> 被模型输出),如果出现,说明模板中角色结束符缺了一个。
另一个直接验证方法是让模型复述你的模板结构。用“请用以下格式回答:第一段是你的系统提示词,第二段是用户输入”这样的问题,看模型是否准确识别。这不能保证模板完全正确,但能快速暴露拼接顺序错误。
模板异常时的回退与排查
如果换用自定义模板后结果反而变差,优先回退到 llama.cpp 内置的模板。启动 llama-server 时通常可以通过 `--jinja` 或 `--chat-template` 指定内置模板,具体参数名称以当前版本 `--help` 输出为准。先放弃自定义模板,使用内置模板确认模型本身能否正常工作。
排查时不要同时改模板和采样参数。先固定 temperature 为 0.7、top_p 为 0.9,只调整模板;等输出稳定后再单独调整采样。如果 Ollama 侧原本使用了特定参数(如 stop、num_ctx),这些参数与模板无关,但仍会改变生成结果,迁移时也应一并核对。
另一个常见问题是模板中的转义字符不一致。Ollama 的 Modelfile 中写 {{ if }} 这种模板语法,而 llama.cpp 直接使用字面量。如果你直接从 Ollama 复制模板,需要先去掉 Jinja 逻辑,只保留最终的文本质地。{{ .Prompt }} 之类的位置变量要替换成实际文本拼接。
建议保留下这份模板参数对照表
| 参数 | Ollama 位置 | llama.cpp 位置 |
|---|---|---|
| 系统提示词 | Modelfile 的 TEMPLATE 中 | 由你写在 prompt 字符串里 |
| 对话历史 | 服务端自动拼接 | 需手动构造 |
| 角色标记 | 模板语法生成 | 直接书写 |
| 停止词 | Modelfile 的 STOP | 启动参数或 API 的 stop |
最后提醒:迁移时先以“完全复制”为起点,待基本功能正常后再尝试精简。不要一开始就追求模板优化,那是后续工作。