对比多个提示词版本,关键不在于哪个版本某次输出“看起来更好”,而在于把各版本放进同一批固定任务、同一组模型参数下横向跑一遍,再用事先定好的判定标准逐条打分。如果手上没有固定任务集,通常先整理几十条覆盖主场景和边界情况的样本,再开始比较;否则只能凭印象选,换一批输入后结论往往不成立。
选提示词版本的可行做法是:先冻结模型、参数和上下文,保证只有提示词发生变化;再准备一批来自真实使用场景的样本,明确可判定的通过标准(能自动断言的优先,主观项用评分表加盲评),每条样本在每个版本上重复跑几次。比较时,先看通过率和失败类型分布,再看稳定性、长度和耗时。样本量太小时不下结论;客观创作类、多轮对话类用静态单轮样本对比并不充分。
先确认当前场景和目标
开始比较前,先确认自己属于哪种情况。适合做版本对比的前提通常是:任务是单轮或少量轮次、输出有可判断的对错或格式要求、你能拿到一批真实输入、并且改动只发生在提示词上。若同时改了模型版本、温度、工具调用或检索内容,对比结果没法归因到提示词。
需要先确认的几件事:
- 输出约定:是自由文本还是结构化字段?有没有必须出现的字段、必须遵守的长度上限?
- 判定方式:错误能否用脚本判定(字段缺失、格式非法、关键词、数值范围),还是只能人看?
- 样本来源:能否从历史工单、日志、真实用户提问里取,而不是自己编的顺口例子。
- 容错空间:同一条输入重复跑几次,输出会差多少?如果差异大(开放式写作、改写类),单次结果不能作为依据。
- 约束条件:提示词长度是否影响成本,是否接近上下文上限,是否需要多语言或多轮兼容。
如果这几项里有两项以上答不出来,先补样本和标准,不要急着改提示词。
按这个顺序处理
建议的顺序是先冻结变量,再定标准,然后才动提示词。反过来做,很容易出现“边改边看”的循环,最后谁也说不清哪一版更好。
- 冻结变量:固定模型名、温度、最大输出长度、系统提示、工具或检索内容。每次只改一处提示词,一个版本对应一个假设,例如“加上输出格式约束”“补充反例说明”。
- 写判定标准:能脚本判定的写成断言,主观的写成 3 到 5 条评分表(如“是否回答了问题”“是否编造事实”“格式是否合规”),每条给明确档位。
- 建样本集:覆盖主路径、边界输入、明显会被误答的反例,以及格式异常输入。样本要带期望结果或至少带期望要点。
- 批量执行:每条样本在每个版本上跑多次(温度大于 0 时尤其必要),原样保存输入、输出、耗时和 token 用量。
- 判分与对比:先跑自动断言,再对失败样本抽样人工看;人工评审时去掉版本标签、打乱顺序,避免先入为主。汇总时同时看通过率、失败类型分布和同一输入多次结果的一致程度。
一个可直接改用的评测用例骨架:

{
"case_id": "refund-002",
"input": "用户原文……",
"must_contain": ["处理时限"],
"must_not_contain": ["保证全额"],
"format": "json",
"required_keys": ["conclusion", "reason"],
"notes": "边界样本:用户情绪激烈"
}
主观项可以借助判定提示词辅助,最终仍以人工抽检为准:
你是评审。只根据下面三条标准给回答打分,不要补充建议。
标准:1) 是否直接回答了问题 2) 是否有无法从材料推出的断言 3) 格式是否符合要求
输出 JSON:{"score": 1-5, "fail_reasons": []}
问题:{{input}}
回答:{{output}}
改完后怎么验证
验证要分两层:一层是看新版本在未见过的样本上是否站得住,另一层是看它有没有把原来能过的用例弄坏。
- 留出集验证:调提示词时看过的样本不能再用作最终判断依据,另留一批没参与调整的样本跑一次。
- 回归检查:把旧版本能通过的用例再跑一遍,观察失败是否转移到其他类型。
- 稳定性验证:同一输入重复跑若干次,比对结论是否漂移;漂移大的版本不适合直接用于对外输出。
- 盲评抽检:把两版输出混在一起交给不了解版本的人评,减少主观偏差。
- 成本观察:比较平均输出长度和耗时,格式约束变严往往伴随输出变长。
可以接受的信号通常是:通过率不低于基线,失败类型更集中且可解释,格式合规情况稳定,样本间表现没有突然塌陷。若两个版本表现接近,选提示词更短、约束更少、维护更省事的那一版;这比追求边际差异更实际。
容易忽略的边界
对比结论往往比想象中脆弱。样本只有十来条时,细微差异基本落在噪声里;同一批样本用过多次后,提示词会被无意中“拟合”到这批样本上。评审顺序也会影响判断,因此盲评和打乱顺序不是可选步骤。
版本管理本身也需要边界:提示词要带版本号、修改原因和对应评测记录,否则几周后无法回溯某次改动为何生效或失效。模型升级、系统提示变更、检索内容变化都会让旧的对比结果失效,需要重跑,不能沿用之前的结论。
- 不适用情况:开放式创作、需要多轮交互、依赖外部工具返回结果的任务,用单轮静态样本对比不足,需补充多轮或端到端场景。
- 回退建议:始终保留上一版可用提示词并可一键切回,同时保留旧版本的评测样本和记录。
- 风险限制:判定标准本身有主观性,涉及合规、金额、医疗等高风险输出时,自动断言不能替代人工复核。