看到 GO-3 Preview 的抓取演示,容易把整段流畅动作一并当成模型能力。更稳妥的归因方式是:把一次演示拆成抓取、移动、放置三类片段,逐段问一句——这段动作的起止点、时长和轨迹,在重复执行时是否几乎不变。若几乎不变,多半来自场景侧预编排的固定动作;若随目标位置、遮挡、光照等输入变化而改变,才有理由把该段归到模型决策。这套观察不依赖内部实现,靠回放画面、运行日志和一次只改一个变量的可控扰动就能做。
判断:演示画面里预编排动作与模型决策动作通常混在一起,单看流畅度无法区分。处理方向是把任务切成抓取、移动、放置片段,用重复执行比对轨迹一致性、用可控扰动看动作是否改变,再倒推每段依赖的视觉与位姿输入。边界:拿不到该段输入、或扰动无法复现时,只能标注“未确认”,不要写进对外能力说明。
把演示画面切成可判断的动作片段
归因的前提是片段有明确起止。建议以抓取、移动、放置为切分点:末端开始接近目标记为抓取段起点,夹爪闭合或吸附生效记为抓取段终点;末端离开抓取点记为移动段起点,到达放置点上方记为移动段终点;释放动作与撤离记为放置段。切分点最好能在日志或画面上找到对应事件,例如夹爪状态位翻转、末端速度由高转低、路径出现明显拐点。
每段至少记录四个字段:时长、轨迹是否重复出现、关键点位姿、动作前后的触发条件。可以先填一张手写表,格式示意如下,字段名按实际日志替换:
片段编号 类型(抓取/移动/放置) 起止事件 时长(s) 轨迹是否逐帧重复 关键点(目标/末端位姿) 触发条件
1 抓取 接近开始→夹爪闭合 ? 待比对 ? 视觉目标框
2 移动 夹爪闭合→到达放置点 ? 待比对 ? 预设工位坐标
3 放置 释放→撤离 ? 待比对 ? -
这张表的用途不是做精确统计,而是让“哪一段值得继续追查”变得具体。时长和轨迹在多次执行中高度一致、触发条件又与视觉输入无关的片段,优先按预编排处理;时长波动明显、关键点随目标位置漂移的片段,才进入下一步验证。
在片段里找预编排的痕迹
最直接的判据是重复性。同一任务建议至少回放三次,逐帧比对轨迹:如果末端路径、速度曲线、夹爪开合时刻几乎重合,说明这一段动作的执行不依赖当次感知结果,通常属于预编排或脚本化执行;如果轨迹随目标物体微小位移而整体平移,说明该段读到了实时输入。
只做重复执行还不够,因为固定轨迹也可能被“参数化”过。还需要做单变量扰动,一次只改一个条件:把目标物体平移几厘米、在路径上加一个轻质遮挡物、改变背景纹理或光照、临时改变某个物体的朝向。观察扰动后动作是否改变——动作逻辑随之调整(绕开、重定位、换抓取方向),说明该段存在实时决策;动作完全不变甚至撞上遮挡物仍照原路走,基本可以判定为预编排。
| 观察到的现象 | 更可能的归因 | 补充验证动作 |
|---|---|---|
| 多次回放轨迹逐帧重合,扰动后不变 | 预编排 / 固定路径 | 查日志里是否有与路径绑定的工位坐标或固定姿态 |
| 多次回放轨迹重合,扰动后整体平移 | 预编排 + 实时定位参数 | 只改目标位置,不改其他条件,看偏移是否线性跟随 |
| 轨迹在扰动后改变走向 | 存在模型决策段 | 改回原条件复现,确认改变来自感知而非随机抖动 |
| 动作中途停顿或重试 | 决策环节在等待输入 | 看停顿前最后一个输入事件是什么 |
确认模型决策段依赖哪些外部输入
某一段看起来是实时响应,仍要确认它靠什么成立。先把该段可能用到的输入列全:目标物体的位姿或检测框、深度图或点云、相机内外参、机器人当前关节角与末端位姿、工作空间边界、抓取候选的评分结果。再逐项做“输入变化→动作是否变化”的对照。
验证时保持其他条件不变,只替换一个输入:挪动目标物体看抓取点是否跟随;遮住深度通道看是否退化为固定高度抓取;给出超出工作空间的目标看是否拒绝执行。日志侧建议把每次运行的输入摘要与输出动作起始时间对齐,示意骨架如下,字段按实际接入替换:
# 仅为记录字段示意,不是任何官方接口
run_id, 片段类型, 输入摘要(目标位姿/末端位姿/相机参数版本), 输出动作(起始时刻/抓取点/接近方向), 是否与上次一致
如果输入变化后动作完全不变,说明这段实际没有消费该输入;如果输入缺失时动作直接失败或退化为默认姿态,说明该输入是这段成立的前提,需要在能力表述里写明。无法构造对应扰动的输入项,保守标注为“未确认”,不要默认它被用上了。
写成团队能直接用的能力边界表述
观察做完后,把结论压成团队能复述的三句话,避免对外描述时把演示效果整体拔高。句式可以固定为:能做什么、在什么条件下做、哪些不算模型能力。
- 能做什么:在△场景、△物体类别、△工作空间范围内,GO-3 Preview 演示完成了从抓取到放置的连续动作,其中△片段的关键点随目标位置变化。
- 在什么条件下做:该段成立需要△视觉输入与△位姿输入,且场景侧已提供△固定工位或预设路径;输入缺失或超出范围时,动作表现未经确认。
- 哪些不算模型能力:工位之间的固定移动、末端预设的释放姿态、以及重复执行中不随扰动改变的片段,属于场景预编排,不应写进模型能力说明。
三句里有任何一句填不上具体值,就说明对应验证还没做够,先按“未确认”处理,再补一次回放或扰动实验,而不是先写结论。