Inkling 负责读图给候选结论、人工回原图核对关键数字

文章导读
把 Inkling 放在“读图给候选”的位置是可行的,前提是先把分工写死:模型负责看图、给出候选结论和依据位置,人只对关键数字和对外结论做最终判定。金额、数量、日期、编号这几类输出一旦出错,后面的动作基本都会跟着错,所以不能直接采用模型的答案;描述性内容、初步归类可以先采用,再抽检。这套分工适合结构相对固定的截图、单据、报表和页面截图;图片模糊、手写、盖章遮挡较多时,模型给的内容只能当作线索,不能
📋 目录
  1. A 先划出哪些输出必须人工复核
  2. B 要求回答带上依据在图中的位置
  3. C 建立回原图核对的固定动作
  4. D 记录每次核对的不一致类型
  5. E 按不一致情况调整复核比例
A A

把 Inkling 放在“读图给候选”的位置是可行的,前提是先把分工写死:模型负责看图、给出候选结论和依据位置,人只对关键数字和对外结论做最终判定。金额、数量、日期、编号这几类输出一旦出错,后面的动作基本都会跟着错,所以不能直接采用模型的答案;描述性内容、初步归类可以先采用,再抽检。这套分工适合结构相对固定的截图、单据、报表和页面截图;图片模糊、手写、盖章遮挡较多时,模型给的内容只能当作线索,不能当作结果。

建议把 Inkling 固定在“给候选”的位置:由它读图、写结论、标出位置,金额、数量、日期和对外表述一律回原图核对。核对时按回答给出的位置查找,查不到就判该项不可信;查到但数值不符,以原图为准,并记下不一致类型。适用范围是结构较固定的截图和单据;图像模糊、手写或遮挡较多时,候选结论只能当作线索。

先划出哪些输出必须人工复核

复核成本应集中在真正会带来错误动作的地方,不要所有字段同等对待。判断标准可以先按一条简单规则:涉及金额、数量、日期、编号、对外结论的输出,一律回原图核对;只用于内部理解的描述性总结、初步归类,可以先采用,再抽检。

输出类型是否必须复核复核什么
金额、单价、合计必须数字每一位、小数点、货币符号
数量、件数、行数必须总数与明细行是否对得上
日期、期限、单号必须年月日顺序、编号位数
会对外发送的结论句必须结论里的数字与措辞是否和原图一致
图表趋势、整体描述可抽检方向性描述是否明显违背原图

这张清单可以直接贴到处理流程里:命中“必须”的字段,未核对不得进入下一步;命中“可抽检”的字段,按批次抽查,发现问题再升级为全检。

要求回答带上依据在图中的位置

让核对有索引,就不用整张图重看一遍。提问时把定位要求写进提示词,并要求逐项回答、不要合并。

你负责读图,只给候选结论。请按下面格式回答,每一项都要带图中位置:
1) 结论项:……
   依据位置:第X行 / 标签名“……” / 单元格(如 B7) / 图中大致方位(左中右、上中下)
   原文文字:照抄该位置的内容
2) 无法确认的项:写“无法确认”,并说明缺什么(模糊、被遮挡、超出画面)
不要合并多项,不要根据常识补数字,不要给出图中没有的内容。

回答没给定位时,不要自己猜着核对,直接退回重问。可以这样说:“第 2 项没有写位置,请只重答第 2 项,补上所在行、标签或单元格,并照抄原文;如果无法定位,直接回答无法确认。”退回时只要求补位置,不要顺带改结论,否则前后两次回答会对不上。

建立回原图核对的固定动作

核对要变成几步能做完的操作,而不是凭印象判断。建议按下面的顺序执行,每一步都有明确的判定结果。

  1. 先检查回答里有没有位置信息。没有位置的项,退回重问,不进入核对。
  2. 按回答给出的行、标签或单元格回原图查找,只查看该位置附近,不重读整张图。
  3. 找不到该位置,判为不可信,该项作废,改由人工读数。
  4. 找到位置但数值或文字不符,以原图为准,并记录不一致类型,不能只改结果不记录。
  5. 找到位置且一致,记为通过,只登记条目编号即可。

记录可以用最简的一行格式,便于后续统计:

图片ID | 字段 | 模型给出的值 | 原图的值 | 位置能否定位 | 不一致类型 | 处理
示例:IMG-0001 | 合计金额 | 12,800 | 12,300 | 能(第4行“合计”) | 看错数字 | 以原图为准

上面一行只是格式示例,不是实测数据;实际使用时字段名和图片ID按自己的编号规则替换。

记录每次核对的不一致类型

只记“错了”没有分析价值,要记错在哪一类。建议固定四类,每类用同一句式描述:字段、位置、模型值、原图值、类型。

类型典型表现样例描述方式
看错数字字形相近、小数点或千分位看错字段=合计金额;位置=第4行“合计”;模型=12,800;原图=12,300
漏行多行明细中少读一条字段=明细行数;位置=表格第2至6行;模型=4条;原图=5条
把相似项混淆两个相近标签或相邻两列串位字段=到期日;位置=标签“到期日”下方;模型取到了“开票日”的值
无依据推断给出图中没有的数字或结论,位置找不到字段=备注;模型给出结论;按回答位置查找无对应文字

表里的样例只是描述格式,不是从某次测试里摘出的结果。记录时保留原始图片ID,方便回查同一类问题是否集中在某种版式或某种拍摄条件下。

按不一致情况调整复核比例

复核比例不应一次定死。可以先连续若干批次对高风险字段执行全检,用记录表看不一致的类型分布和出现次数,再决定哪些字段转为抽检。某类字段在多批记录里都没有出现不一致,可以改为每批抽几条核对;出现“无依据推断”或“漏行”这类结构性问题时,该字段回到全检,并回看同期同版式的其他图片。

抽检时发现问题后,回退动作要固定:把该字段本批已抽检的部分扩到全检,把同一来源的上一批也补查一遍,并检查是否换了模板、换了扫描件或改成手机拍照。版式或图像来源变化后,建议重新按全检运行一段时间,再考虑放宽。抽检只能减少工作量,不能证明没有错误;金额和对外结论这类字段,即使记录一直干净,也建议保持逐项核对。