把 Genie 4 这类世界模型当成视频生成来评,评价对象就偏了。视频生成评的是成片:这一帧清不清楚、播放顺不顺;世界模型评的是过程:你输入了什么、画面在下一段里有没有跟着变、变的方式是不是每次都一样。同一段结果用清晰度和帧率打分,通常会得到一个「还过得去」的分数,却解释不了为什么手感是错的。判断标准要换,关键动作是把观察从「看画面」改成「按操作对照画面」:先用视频指标跑一遍留档,再逐条记录响应,最后把两套结论摆在一起看冲突在哪。
判断:世界模型是否可用,主要由「操作与画面是否一一对应、对应是否可复现」决定,清晰度和帧率只能当门槛值,不能当结论。处理方向:对同一段结果先按视频指标打分并写清理由,再逐条记录每次输入后的画面变化,两次结论并列表比对。验证方式:重复同一输入、改变输入顺序,看响应是否稳定复现。边界:响应表现还受输入采样方式、单次生成长度、渲染配置影响,需要结合具体环境确认,不能只看画面下通用结论。
用清晰度与流畅度给一段生成结果打分并记录理由
先按旧习惯打一遍分,目的不是得到结论,而是留下对照物。评分用高、中、低三档即可,不要写没有依据的数字;每一档后面必须跟一句具体理由,否则后面无法和交互观察对齐。
| 维度 | 评分 | 理由 |
|---|---|---|
| 单帧清晰度 | 中偏高 | 主体轮廓可辨,远景边缘发糊 |
| 播放流畅度 | 中 | 画面推进基本连续,转向处有顿感 |
| 运动连续性 | 中 | 主体移动方向连贯,但幅度时大时小 |
| 构图与主体稳定 | 中 | 背景偶有整体位移,主体没有明显跳变 |
| 可观察时长 | 低 | 能稳定观看的片段比较短 |
打完分后,有几类现象这套维度完全解释不了:画面对应清晰,但按住方向输入后,主体先原地转一下再往前走;播放很顺,可同样的输入做两次,画面给出的结果不一样;长按之后松开,画面还继续漂一段;连续做两步操作时,中间那一步像是被吞掉了。这些都不是画质问题,视频指标里没有对应维度可以记录,所以越看越困惑是正常的。
改成记录操作后画面是否响应、响应是否一致
换视角时,最小可用的方法是「一次输入一行记录」,输入和观察都写在同一行里,时间戳可以粗略,但顺序不能乱。下面是一个通用的记录骨架,可以放在自己的评测表格或日志文件里,字段按实际环境替换。
seq | input | expected | observed | consistent
1 | 按左 短按 | 主体向左位移 | 向左位移 | yes
2 | 按左 长按 | 位移幅度更大 | 位移幅度与短按接近 | no
3 | 按左→按右 连续 | 先左后右,回位 | 只响应了左 | no
4 | 松开 | 画面停止变化 | 仍有一小段漂移 | no
一致性要专门测,方法很朴素:同一段输入重复做两到三次,看结果是否落在同一个范围;把两步操作的顺序对调,看第二步是否依赖第一步;把长按时间从短拉长,看效果是否单调递增,而不是突然跳变或不动。这几项都不需要额外工具,靠屏幕录制或逐帧回看就能确认。
常见的不一致案例有三类。第一类是幅度不成比例:短按和长按的画面变化几乎一样,操作粒度就丢了。第二类是合并响应:快速连续两次同向输入,画面只动一次,多步操作的语义没保住。第三类是释放不收敛:输入停止后画面仍在变化,此时任何依赖「停下就看清楚」的使用方式都会受影响。
在同一段结果上比对两套指标给出的结论差异
把两套评分并排放在同一段生成结果上,错位立刻就能看见。
| 观察点 | 视频指标的看法 | 交互指标的看法 | 冲突点 |
|---|---|---|---|
| 画面清晰 | 得分较高 | 不参与判断 | 清晰但不跟随输入,结论相反 |
| 播放流畅 | 得分中等偏上 | 响应滞后一两步 | 顺不等于及时 |
| 主体轻微漂移 | 扣分 | 反向输入后能回位且每次一致 | 视频扣分、交互加分 |
| 片段较短 | 扣分 | 有效长度内响应稳定 | 时长不是交互指标 |
冲突点集中在两处。一是评价对象不同:视频指标评价「看起来好不好」,交互指标评价「用起来准不准」,两者不能互相抵扣,画质好不会让不一致变得可接受。二是失分位置不同:视频指标的失分多在细节和连续帧,交互指标的失分多在对应的稳定性和多步语义,同一段结果可能在一边失分、在另一边保持正常。
哪种更贴近实际,取决于用途。如果目标是可操作的交互环境、原型验证或具身场景的推演,交互一致性更贴近真实体验;如果只是要一段可播放的素材,视频指标仍然有效。判断前先明确用途,再决定以哪套为准,不要两套各取一半拼成结论。
整理一份世界模型的观察清单,替代原来的视频指标
把观察固定成清单,每次评测照着走一遍,结论可复现,也方便横向比对不同配置。
| 清单条目 | 对应观察动作 | 适用与不适用 |
|---|---|---|
| 响应是否发生 | 给一次单一输入,看下一步画面有无变化 | 适用交互式环境;一次性成片素材不适用 |
| 方向与幅度是否匹配 | 短按与长按各做一次,比对变化幅度 | 适用有连续控制量的场景;纯离散动作不适用 |
| 是否可复现 | 同一输入重复两到三次,比对结果 | 适用;只有单次结果时无法判断 |
| 多步是否连贯 | 连续两步操作,检查第一步效果是否保留 | 适用带状态的环境;单步演示不适用 |
| 停止是否收敛 | 松开输入,看画面是否停止变化 | 适用实时交互;离线批量生成不适用 |
| 长时是否退化 | 持续操作较长时间,观察画面和响应漂移 | 需结合单次生成长度确认,超出长度的部分不作结论 |
| 画质门槛 | 看单帧是否糊到无法辨认主体 | 只作门槛,不作能力结论 |
使用这份清单时,建议先记录用途和配置(输入方式、单次生成长度、采样设置),再逐条填观察结果;同一段结果不要在中途换配置,否则前后的不一致无法归因。配置里能改的项很多,响应表现往往会随单次生成长度和采样设置一起变化,具体数值需要在自己的环境里跑过再确认。