Space Bunny 和付费模型答案冲突时,先别按整体印象选。更常见的变量是措辞、会话历史、任务类型。判断顺序可以固定:先用有唯一答案的小任务建立基准,再用同一条提示词各跑一遍,把差异落到任务类型上,冲突时用原始资料和可运行结果裁决,最后按任务分工。
两个模型答案不一致,先把它当成提问条件没对齐,而不是模型强弱。做法是固定提示词和会话状态各跑一遍,用可判定的小任务做基准;事实冲突查原始资料,代码冲突跑一遍,措辞冲突换问法复问。日常问答和代码辅助可以按任务分工;对外发布的事实、法务、财务、医疗和安全配置仍要人工复核,模型自述不能当依据。
先选一个有明确答案的小任务做基准
先挑能自己判对错的任务,每类准备两到三题,标准答案自己留着,不提前告诉模型。
- 事实型问题:选有唯一书面来源的短问题,比如某条命令的参数含义、某协议字段的取值。判定看能否在原始资料中找到一致表述;把答案改掉就算错。
- 简短改写:给三到五句原文,要求不改变结论、数字和否定词。判定前先列必须保留的信息点,把「不一定」改成「不会」就算错。
- 固定输入的计算或代码片段:给相同输入,让模型算结果或给可运行代码。手工算一遍,或把代码原样跑一遍,不看代码像不像。
这一步把「感觉哪边好」换成「哪边在可判定的题上出过错」。两边错误接近,就说明后面要靠任务类型分工,而不是整体选一个。
用同一条提示词分别跑一遍
提示词、输入和输出要求写在同一段里,两边原样复制。骨架如下:
任务:根据输入回答问题
输入:{{原文或代码}}
输出要求:
1. 只给答案,不要额外解释
2. 不确定时写「不确定」
3. 涉及事实时给出你依据的原文片段
先新开会话,一次性发出,先跑 Space Bunny,再新开会话跑付费模型;担心顺序影响就交换顺序再跑一轮。不要在同一个会话里追问另一个模型。必须多轮的长文档,把第一轮内容重新贴进第二轮提示词,保持上下文一致。
记录用固定字段:编号、任务、提示词版本、模型、会话状态、完整输出、判定、备注。备注写具体差异,比如漏掉适用条件、把否定改成肯定、代码用了不存在的参数。
把差异放到四类任务上看
不给模型打总分,四类各记一条具体观察。
- 事实准确性:同一问题上,哪边给出能在原始资料中定位的取值,哪边只给概括;条件漏没漏,单独记。
- 结构完整性:要求的字段有没有全部出现,有没有把两个条件合并或省略。
- 语言风格:有没有改掉否定和限定词,有没有把简短答案扩写成大段解释。
- 长文本处理:把关键约束放在输入靠后,回答是否仍然遵守;只答前半段就单独记一条。
观察几轮后,常见的是偏结构的一方和偏语言的一方,长输入上也可能分出差异。这时分工规则就有依据了。
回答不一致时怎么判断谁对
不看模型怎么解释自己为什么对,按下面三条路径验证。
- 查原始资料:对照规范、源码、手册或手上的原始文档。能排除凭训练记忆编造的情况。边界是资料本身也要确认版本,过期资料不能作为最终依据。
- 把代码跑一遍:两边代码放在隔离目录,输入用同一份。能排除参数不存在、依赖缺失、看似能跑实际跑不通。单次运行只覆盖你给的输入。
- 换一种问法复问:保留同样输入和输出要求,换掉问法再问两边。换法后仍冲突,更像模型知识差异;一边改口,说明原提问有歧义。复问只减少歧义,不能证明答案正确。
三条都走不通时,标记为待确认,不要直接采用任何一边。
按任务分工而不是只留一个
把记录合成分工规则,每个任务都有默认选择和复核动作。
| 任务类型 | 默认交给 | 复核方式 |
|---|---|---|
| 有唯一答案、可对照原始资料的事实核对 | 基准题上错误更少的一方 | 发布前对照一手资料 |
| 开放改写、语气统一、结构整理 | 语言风格更符合要求的一方 | 人工检查否定与限定词 |
| 长文档抽取或摘要 | 长输入上约束遵守更稳的一方 | 抽样比对原文,确认漏项 |
| 代码片段 | 先由一方生成 | 另一方审查或本地跑一遍;涉及权限、删除、支付、数据处理必须人工确认 |
必须人工复核的场景不要省:对外发布的事实和数字、法务财务表述、医疗和安全配置、会改真实数据的脚本、两边冲突且原始资料也无法裁决的问题。模型输出只是草稿。
规则建议固定周期复看,例如一个季度看一次记录;模型版本变化、提示词模板改动,或同一类任务反复出现错误,就提前复看。复看时优先改规则,不要只改单次结果。