用书生-A1.5 做科学任务,最常见的失败不是回答不对,而是回答“太完整”:一次提问换来一份读起来通顺的步骤,但里面的数值没有出处、引用查不到原文、实验参数缺上下文,看起来答完了,实际一步也落不了地。问题往往不在模型本身,而在于把本该分成两段的流程压成了一次问答。比较稳的做法是先把任务切成通用推理段和专业工具段,各自验收输出,再决定哪一步可以交给书生-A1.5、哪一步必须自己在脚本、数据库或实验记录里补上。
判断方向:科学任务里的拆解、排序、写分析计划适合放在通用推理段,交给书生-A1.5;真实计算、原文检索、仪器参数核对属于专业工具段,要由脚本、检索工具或实验记录完成。操作上先按“输入—动作—输出”把两段写开,再补一份含数据来源、输出格式和排除项的任务描述。验证看三点:数值能否重算、引用能否查到原文、缺失数据有没有被静默补全。边界是:模型输出的步骤只能当计划用,不能当结论用。
把一次科学任务拆成通用推理段和专业工具段
先固定一个具体任务再谈分工,比抽象讨论模型能做什么更有用。假设任务是「判断某配方在温度上限提高后是否需要调整工艺窗口」,把它拆成两段后,两段的输入、动作、输出差别很明显:
| 段落 | 输入 | 动作 | 输出 |
|---|---|---|---|
| 通用推理段 | 任务目标、已有结论摘要、约束条件(时间、成本、可用设备) | 拆子问题、列出需要哪些数据、给出验证路径和优先级 | 一份待办式分析计划:要查什么、要算什么、找谁确认 |
| 专业工具段 | 具体数据文件、计算脚本、检索工具、实验原始记录 | 真实计算、检索原文、核对参数与量纲 | 可复算的数值表、带出处的引用、带上下文的参数条目 |
判断某段输出该不该采信,看它有没有越界。如果通用推理段的输出里出现“通常取 0.8 左右”“相关文献表明”这类没有出处的具体值,说明本该由工具段完成的工作被塞进了推理段,这段内容只能当作“待核验项”收下,不能直接抄进结论。反之,工具段里出现“建议先做敏感性分析”这种排期类判断,也可以退回推理段去做。
在任务描述里写清手头数据、期望输出和不做什么
模型自行补全数据,多数时候是因为任务描述里没写数据边界。与其反复在追问里纠正,不如把模板固定下来,每次只替换括号内的内容。下面这份骨架可以直接粘到对话开头:
【任务】用一句话说明要判断什么,不要写“帮我分析一下”。
【手头数据】
- 来源:(文件名 / 表名 / 实验记录编号)
- 范围:(时间区间、样本量、字段列表)
- 已知缺口:(哪些字段为空、哪些批次没做平行样)
【期望输出】
- 格式:(分点计划 / 表格 / 待办清单)
- 粒度:(每步写到可执行动作,例如“用哪个脚本算哪个量”)
- 必含字段:(每步的输入、负责人、完成判据)
【不做的事】
- 不要补全我没有提供的数值,缺失处标“待补”。
- 不要给出具体文献标题或作者,只写需要检索的关键词。
- 不要替我做判断结论,只给判断所需的检查项。
三块里最容易漏的是“不做的事”。排除项写得越具体,越容易在日志或对话记录里核对模型有没有越界:输出中是否出现未提供的数值、是否凭空给出引用、是否给出了没有条件限定的参数推荐。这份模板适合放在通用推理段使用;涉及真实计算时,仍要把数据交给脚本处理,而不是让对话完成计算。
标出必须外部核验的三类环节
信任边界要在任务开始时划清,不要等输出出来再挑错。按下面三类把核验动作和责任人写进计划里:
- 数值计算:凡涉及求和、拟合、单位换算、误差传递的结果,都要用脚本或工具重算一遍。核验动作是拿同一份输入跑脚本,比对输出数值与量纲;责任人是提出任务的人或数据负责人。模型给出的算式中途步骤可以作为检查线索,但不能作为最终数值。
- 文献引用:凡输出里出现文献标题、作者、年份、期刊,都要逐条查到原文再引用。核验动作是记录检索关键词和命中页面,确认原文是否真的支持该说法;责任人是能读懂该领域原文的人。建议在任务描述里直接要求只给关键词,不给具体条目,减少编造空间。
- 实验参数:温度、浓度、时长、设备型号这类参数,要对照仪器记录、SOP 或原始记录表确认。核验动作是把输出参数与记录表逐项对齐,标出不一致项;责任人是实验执行人。参数条目必须带上下文(批次、设备、条件),单独一个数值不算可用。
把这三类环节写进计划后,智能体输出的定位就清楚了:它负责告诉你要核验什么,核验本身由人和工具完成。
先用一个小任务跑通再做全流程
分工是否成立,用一个低成本任务就能暴露。试跑任务的选取标准通常是:样本量小到能人工核完、有已知答案或可对照的历史结果、失败成本低、并且同时覆盖推理段和工具段各至少一步。比如取一个批次的数据做参数核对,而不是直接跑全套分析流程。
试跑时重点观察三点:一是可复现性,同样的任务描述和同样的数据重跑一次,输出的步骤结构是否稳定,数值是否一致,不一致的地方要能解释;二是不确定性标注,模型有没有在缺失数据和推测处写“待补”“需确认”,还是直接给出确定语气;三是越界情况,输出里有没有出现你没提供的数值、没检索过的引用。这三点都可以直接在对话记录里翻查,不需要额外工具。发现问题时先改任务描述模板,而不是逐个纠正输出。
把这次分工写回自己的流程文档
跑通一次之后,把结论落成可复用的记录,下次同类任务直接照着走。每个任务类型记一条,字段固定:
任务类型:配方工艺窗口评估
两段分工:
推理段 - 拆子问题、列数据需求、排优先级
工具段 - 数据表统计(脚本)、文献检索(数据库)、参数核对(记录表)
实际卡点:输出中出现无出处的默认参数;缺失批次被静默补全
下次改动项:任务描述加“缺失处标待补”;参数类问题一律先给记录表再提问
记录时尽量写具体动作和具体位置,例如“哪张表的哪一列缺失”“哪一步必须由脚本算”,不要只写“效果一般”。积累几条之后,同类任务的任务描述模板可以基本固定,需要人工确认的地方也会提前暴露出来,而不是等到结果交付前才发现。