在llama.cpp里跑Guanaco这类LLaMA微调模型时,模型输出变成无法阅读的片段,先不要怀疑是转换环节出错。这类现象通常是prompt template没有按模型微调时的格式包裹,模型从模板中间开始续写,自然就乱。排查时先把“模板”和“生成参数”分开看,不要一上来就调采样器。
先给乱码分个类。第一种是输出里混有“### Human:”“### Assistant:”这类残缺模板;第二种是模型只回了半句话,然后开始重复标点或无关符号;第三种是对话历史中上一轮回复没有正确闭合,下一轮直接复读整个模板。这三种情况都指向同一类问题:输入给模型的文本,和模型微调时候选用的指令模板不一致。
先确认Guanaco使用的模板格式
Guanaco常见版本使用的是Alpaca风格模板:对话前有一段系统描述,每条用户消息前加“### Human:”,模型回复前加“### Assistant:”。不同转换脚本或不同精度的GGUF文件,前缀文本可能有细微差别。最稳妥的办法是去模型卡或转换脚本中找原始模板原文,不要凭记忆写。手动测试时注意三个位置:前缀是否完整、冒号后是否有空格、每个消息之间是否用换行分隔。
如果你用的是旧版llama.cpp,没有聊天模板概念,直接在-p参数里拼完整模板即可。新版llama.cpp(引入了chat template相关参数)会多一层包装。若服务端已按Guanaco模板包装,又手动在-p里加上“### Human:”,就会出现模板嵌套,输出变成对话碎片拼起来的样子。
检查llama.cpp是否在替你做模板包装
新版llama.cpp在交互模式(-i)下会进入chat模式,自动按内置模板组织对话历史。如果内置模板与Guanaco模板不同,输出就会和用-p手动测试时对不上。建议先用普通模式跑一次固定prompt,确定模型本身输出正常;再对比交互模式,如果交互模式乱码而普通模式正常,问题就锁定在模板或对话历史切分方式。
可以用类似这样一条命令先固定模板测试:
./main -m guanaco-7b.gguf -p "A chat between a curious human and an artificial intelligence assistant.\n\n### Human: 请介绍一下你自己\n### Assistant:" -n 128如果上面输出正常,再进入交互模式:
./main -m guanaco-7b.gguf -i `--chat-template` alpaca交互模式乱码时,再看版本是否支持`--chat-template`;不支持可以改用`--instruct-prefix`、`--instruct-suffix`等参数手动补充“### Human:”和“### Assistant:”。这一点需要结合你使用的llama.cpp版本确认,不同版本参数名有差异。
观察实际发出去的prompt
加了`--verbose-prompt`或日志相关参数后,llama.cpp会把实际发送给模型的prompt打印出来。检查这一步最有价值:看模板是否被重复拼接、换行是否被吞掉、是否有BOS/EOS token错位。如果实际prompt和模型原始模板一致,才需要把怀疑对象转移到转换层面。
其他边界情况和不要做的操作
以下排查路径适用于GGUF格式模型,并且你已经能通过llama.cpp加载模型、正常完成一次生成任务。如果连普通prompt都完全无法生成、全部输出空串,问题更可能出在采样或模型损坏,而不是模板。
模板确认无误后仍乱码,再考虑tokenizer不匹配或模型文件转换问题。同一个Guanaco模型,换到ollama或text-generation-webui里跑,如果表现不一致,基本能排除模型文件本身,问题仍在llama.cpp侧。不要为了修复乱码而不断加大`--repeat-penalty`、调整temperature、换成`--mirostat`等采样参数,这样只能暂时压制复读,无法修正模板错位。也不要在没确认模板前就去重新转换GGUF。
有一个常见场景值得确认:对话历史已经积累了多轮,第二轮开始乱码,第一轮正常。这种情况通常是历史消息没有按模板的交替结构保存,或者系统前缀在每轮都被重复添加。排查时把历史内容打印出来,逐条确认每一条以“### Human:”还是“### Assistant:”开头,再检查llama.cpp的history清理策略。
如果实在要在没摸清模板的情况下先跑起来,可以用ollama这类自带模型专用模板的工具做对照,但不要把ollama的模板效果直接等同于llama.cpp行为。