Hyra 给出的文献线索能溯源的部分,只有你亲自回原文核过的那几条。模型把题名、作者、年份和结论写得很像真的,但这四要素里任何一项对不上原文,这条线索就不能当依据用。可执行的动作是:把输出里的线索拆成一行一条,逐条回原文比对结论表述是否被改写,查不到的用固定句式追问,仍给不出出处就直接剔除,最后看本轮剔除比例决定这批输出还能不能用。核验通过只说明线索与原文一致,不能替代对文献本身质量和适用范围的判断。
处理 Hyra 输出的文献线索,建议按拆条、回原文、追问、回灌、统计五步走:每条线索单独占一行,题名、作者、年份、结论分列;能查到原文的,把原文结论句和输出句并排比对,判定有没有范围放大、条件缺失或强度抬高;查不到的用统一句式要求补出处或撤回,一次追问仍无回应即剔除。核验一致只代表转述没跑偏,采信前还要自己判断这篇文献的方法和场景是否适用于你的问题。
把输出里的每条文献线索单独拆成一行
整段读综述式回答,很容易被流畅的行文带过去。先把线索的颗粒度压到条目:让 Hyra 按固定四列重排,或者你手动从答案里逐条摘出来,一行只放一条线索,题名、作者、年份、结论各占一列。结论列只填输出中对这条文献的断言句,照抄,不要合并、不要概括、不要顺手补上你自己的理解。
请把你上面回答中涉及的文献线索整理成表格,每条线索一行,四列:
1. 题名(原文语言原样保留)
2. 作者(第一作者 + 等)
3. 年份
4. 你在回答中针对这条文献给出的结论表述(逐字复制你写的那句,不要改写)
要求:同一文献有多条结论时分行列出,不要合并;不要补充表格外的说明。
表格拿到后先做本地去重和标记:同一题名出现两次但年份不一致的,标为待查;作者只写“等”、题名又偏笼统的,也标为待查。这一步只负责分条和标记,不对任何一条下采信结论。拆分后的行数就是本轮核验的基数,后面统计剔除比例要用到。
回原文确认结论表述有没有被改写
转述环节的偏移通常有四类:范围被放大,原文说部分样本成立,输出写成普遍成立;条件被抹掉,原文限定在某类数据集或某种配置下,输出里这个前提消失了;强度被抬高,原文说相关,输出写成导致;对象被替换,结论原本针对另一类系统,被挪到你的场景上。这几类偏移在通读时都不明显,只有把两句话并排摆出来才看得见。
对照记录的写法建议一行一条,左边放原文结论句,中间标位置,右边放输出句,最后给判定和处理动作:
题名 | 原文结论句(摘录) | 位置(章节/页码) | 输出句 | 偏移判定 | 处理
---|---|---|---|---|---
示例行 | 摘录原文那一句 | 第X节 | 照抄输出那一句 | 一致 / 范围放大 / 条件缺失 / 强度抬高 / 对象不符 / 未找到原文 | 保留 / 修正 / 剔除
判定为“一致”的才进已核实清单;判定为改写的,按原文表述修正后再进清单,输出里原来的说法不能沿用;判定为“未找到原文”的,走下一步追问。记录时保留你查到的那句话本身,不要只写“已核对”,否则下一轮回头复核还得重新找一遍。
对查不到的线索用统一句式追问
查不到的情况要多于预期,所以追问句式最好固定下来,避免每次临时组织语言,也方便对比模型在两轮之间是否改口。模板可以这样写:
第 N 条线索我按题名和第一作者没有查到对应原文。请二选一处理:
(a) 给出可核验的出处信息:完整题名、全部作者、发表年份、发表载体(期刊/会议/预印本平台),以及你引用那句结论在原文中的位置;
(b) 明确撤回这条线索,并在回答中删除依赖它的结论。
不要用“可能存在相近文献”“大意如此”这类说法替代出处。
处理规则建议直接定死:一次追问后仍给不出可核验出处的,剔除,不在正文里留“存疑”状态。存疑条目最容易被下一轮当作既成事实继续引用。剔除的每条都记进剔除表,写明剔除轮次和追问原话,后续提问时把表里的题名列入禁引清单,不让它再混进上下文。
把已核实的线索回灌到下一轮提问
核验成本高,一次核完就该复用。把已核实清单放回上下文,相当于给 Hyra 划一个可引用的边界,能减少后续讨论里重新拼凑文献的空间。
以下是已核实的文献清单,本轮回答只在这份清单范围内引用文献:
1. 题名 / 第一作者 / 年份 / 原文结论句要点(不超过一句,照原文措辞)
2. 题名 / 第一作者 / 年份 / 原文结论句要点
约束:
- 不要引入清单外的文献;
- 确需清单外证据时,先标注“待核实”,不要写成已确认结论;
- 引用清单内文献时,结论表述不得超出上面记录的要点,尤其不要补范围和因果。
清单本身保持短句和原始措辞,不要在同一条里塞进你的推论,否则下一轮偏移会以你的推论为起点。清单变长后按主题拆成几个小块分别回灌,比一次性贴一大段更容易检查模型有没有越界。
统计本轮被剔除的条目比例
记录口径要先统一:本轮线索总数取拆条后的行数;保留数只算判定“一致”的条目;修正后保留单独计数,因为这部分原文可查、只是转述跑偏,说明出处能力尚可;剔除数包含未找到原文、追问后仍无出处、结论改写又没有原文支撑三类。三个数加起来应当等于总数,对不上说明有漏记。
轮次 | 总条数 | 一致保留 | 修正后保留 | 剔除 | 剔除集中在哪个主题
第1轮 | | | | |
判断阈值建议按相对关系写,而不是拍一个固定比例:剔除数达到或超过保留数时,这一轮输出不适合直接作为依据,只能当线索池,结论部分需要重写;某一主题下的剔除明显集中,说明该类文献的出处能力弱,下次提问改成先要出处、再要结论;同一题名在连续两轮里都被编出来,直接写进禁引清单,不再单独追问。这些阈值是使用上的门槛,不是对模型能力的量化结论,具体怎么定还要结合你所在领域的可查性和核验成本来调。