Inkling 处理长截图问答,先按信息块切图再逐块提问

文章导读
长截图问答答得笼统或漏项,通常不是模型本身不行,而是一次提问里塞进了太多互不相关的信息区:表格、标题、备注都在同一张图里,模型很难判断你问的是哪一处。可行的处理顺序是先把图片按信息区切开、给每块编号命名,再让每次提问只对应一块,并把回答和图块编号记在一起,这样出错时能定位到具体哪一块,而不是笼统地重问一遍。下面的做法都可以通过看图、跑一条命令或翻记录表来验证,不依赖特定版本行为。
📋 目录
  1. 壹 先量清楚一张长截图的尺寸和区块数
  2. 贰 按信息区切图并给每块编号命名
  3. 叁 每块只问一个能指回原图位置的问题
  4. 肆 把每次回答和图块编号记在一起
  5. 伍 需要跨块汇总时怎么补问
A A

长截图问答答得笼统或漏项,通常不是模型本身不行,而是一次提问里塞进了太多互不相关的信息区:表格、标题、备注都在同一张图里,模型很难判断你问的是哪一处。可行的处理顺序是先把图片按信息区切开、给每块编号命名,再让每次提问只对应一块,并把回答和图块编号记在一起,这样出错时能定位到具体哪一块,而不是笼统地重问一遍。下面的做法都可以通过看图、跑一条命令或翻记录表来验证,不依赖特定版本行为。

把一张长截图整图交给 Inkling 时,回答质量很大程度取决于这一次提问覆盖了多少互不相关的信息区。建议先量图片像素尺寸和独立信息区数量,按表格、标题、备注的边界切块并编号,每块只问一个能指回原图位置的问题,再把回答与图块编号一起记录。切块边界是否合适、回答是否正确,都要回到原图核对;合计与对比类结论仍需人工复核。

先量清楚一张长截图的尺寸和区块数

第一步不是提问,是量图。用一条命令拿到像素尺寸,判断这张图在一次提问里是否已经被压缩得太厉害,以及按屏幕高度算需要切几刀:

identify -format "%f %wx%h\n" long_shot.png
# 或用 Python
python -c "from PIL import Image; print(Image.open('long_shot.png').size)"

接着数独立信息区:一张表、一个带正文的标题段、一段脚注或备注,各自算一块;空行和留白是天然的分隔线。把每块的大致纵向范围(起始 y、结束 y)记下来,这张清单就是后面切图的依据,也是出问题时回头核对的坐标。

切块标准建议是:一块只包含一个语义单元,块内不需要跨过另一块才能读懂。实践中有两个经验边界:单一信息区高度超过屏幕可视区两三倍时,即使它是一整张表,也应拆成多块并让每块重复表头;总块数到十块以上时,改为分批处理——先按主题分两批,每批内部照样逐块提问,避免编号在后半段错位。具体阈值要结合图片清晰度和列数确认,列多、字号小的表可以切得更细。

按信息区切图并给每块编号命名

切图边界优先选在整行留白处,不要从文字中间切;表格的切点应落在行与行之间,并让每一块都带上一次表头行。跨页续表要保留“续表”字样或原来的列名,否则后一块的行会被误读成没有列名的裸数据。表头和单位行属于上下文,不是可裁掉的多余部分;如果单位写在脚注里,就把脚注一起裁进同一块,实在裁不进来,就在提问里明确写“单位见原图第几块脚注”,并要求模型说明它使用的是哪个单位。

命名建议用固定的三段式,便于排序和回指:

order_01_header.png
order_02_table.png
order_03_table.png
order_04_note.png
# 通用形式:{来源}_{两位序号}_{内容类型}.png

序号补零保证文件列表顺序与图片从上到下的顺序一致。切块时不要顺手改分辨率;如果确实需要缩小,把缩放比例记在记录表里,因为字号变化本身就可能让某几行数字读错。

每块只问一个能指回原图位置的问题

“总结一下这张图”这类开放式提问,回答范围由模型自己划定,你很难判断它漏了什么。改成能指回原图位置的提问,答案就可以核对:不要问“这张表说了什么”,而是问“第 3 块表里,‘华东’那一行对应的‘退货数’单元格是多少?如果该格为空或与上一行合并,请说明它覆盖了哪几行”。

几个可以复用的提问句式:

  • “图块 order_03_table 中,列名为 X 的列、行标识为 Y 的那一行,值是多少?只回答该单元格,并说明它位于第几行第几列。”
  • “图块 order_03_table 一共有几行数据?列名依次是什么?单位写在哪一行?”
  • “图块 order_03_table 中是否存在跨行合并的单元格?如果有,列出合并范围以及合并后的值。”

一个问题只问一个可核对点。需要同时取多个字段时,宁可分成几次提问,或在同一条里把字段清单列全并编号,让回答逐一对应,避免模型只答其中一部分。

把每次回答和图块编号记在一起

记录表的字段不用多,但要能反查:图块编号、文件名、问题原文、回答原文、是否正确、错在哪、原图核对位置(第几行第几列或大致坐标)。用 CSV 或任意表格工具都可以:

块编号,文件名,问题,回答,是否正确,错误类型,原图核对位置
order_03,order_03_table.png,列X/行Y的值,1234,否,漏看表头导致串行,第4行第2列
order_04,order_04_note.png,单位写在哪一行,万元,是,,脚注第1行

发现偏差时,建议先判断性质再动手,顺序是:回答里出现了块内根本不存在的列名或行 → 多半是串到了相邻块,先检查切图边界;数值整体错开一行、或单位对不上 → 多半是表头被切掉,先补图重切;只有提问本身含糊(问的是“总结”“有哪些异常”)→ 先改问法,不必重切。先补图还是先改问法,取决于错误能否在原图里找到对应位置,找不到对应位置通常说明提问范围太宽。

需要跨块汇总时怎么补问

合计、占比、跨块对比这类必须看全局的问题,不要指望在某一块的提问里顺手得到。建议顺序是:先在每一块里把需要的数字逐格取出来,连同块编号记进记录表;再单独发一次提问,只把这些已核对过的数字交给模型,并要求它标明每个数字来自哪一块;最后自己用表格软件或脚本复算一遍。

下面是已逐块核对过的数据,每行格式为 块编号/行标识/数值:
order_02/华东/1280
order_03/华南/960
order_04/华北/1510
请计算三行合计,并逐项标注每个数值来自哪个块。不要引入上面没有出现的行。

必须人工核算的部分包括:跨块合计、占比、排序和增减对比,以及任何涉及单位换算的结论。原因是跨块时行与行的对应关系最容易混,模型给出一个看起来合理的总数,并不代表它用的是正确的那几行。把汇总结果和逐块取数的明细一起留档,出问题时才能判断是取数错了还是加总错了。