Genie 4 世界模型和视频生成不是一回事 / 判断标准要换一套

文章导读
把 Genie 4 这类世界模型当成视频生成来评,评价对象就偏了。视频生成评的是成片:这一帧清不清楚、播放顺不顺;世界模型评的是过程:你输入了什么、画面在下一段里有没有跟着变、变的方式是不是每次都一样。同一段结果用清晰度和帧率打分,通常会得到一个「还过得去」的分数,却解释不了为什么手感是错的。判断标准要换,关键动作是把观察从「看画面」改成「按操作对照画面」:先用视频指标跑一遍留档,再逐条记录响应,
📋 目录
  1. Ⅰ 用清晰度与流畅度给一段生成结果打分并记录理由
  2. Ⅱ 改成记录操作后画面是否响应、响应是否一致
  3. Ⅲ 在同一段结果上比对两套指标给出的结论差异
  4. Ⅳ 整理一份世界模型的观察清单,替代原来的视频指标
A A

把 Genie 4 这类世界模型当成视频生成来评,评价对象就偏了。视频生成评的是成片:这一帧清不清楚、播放顺不顺;世界模型评的是过程:你输入了什么、画面在下一段里有没有跟着变、变的方式是不是每次都一样。同一段结果用清晰度和帧率打分,通常会得到一个「还过得去」的分数,却解释不了为什么手感是错的。判断标准要换,关键动作是把观察从「看画面」改成「按操作对照画面」:先用视频指标跑一遍留档,再逐条记录响应,最后把两套结论摆在一起看冲突在哪。

判断:世界模型是否可用,主要由「操作与画面是否一一对应、对应是否可复现」决定,清晰度和帧率只能当门槛值,不能当结论。处理方向:对同一段结果先按视频指标打分并写清理由,再逐条记录每次输入后的画面变化,两次结论并列表比对。验证方式:重复同一输入、改变输入顺序,看响应是否稳定复现。边界:响应表现还受输入采样方式、单次生成长度、渲染配置影响,需要结合具体环境确认,不能只看画面下通用结论。

用清晰度与流畅度给一段生成结果打分并记录理由

先按旧习惯打一遍分,目的不是得到结论,而是留下对照物。评分用高、中、低三档即可,不要写没有依据的数字;每一档后面必须跟一句具体理由,否则后面无法和交互观察对齐。

维度评分理由
单帧清晰度中偏高主体轮廓可辨,远景边缘发糊
播放流畅度中画面推进基本连续,转向处有顿感
运动连续性中主体移动方向连贯,但幅度时大时小
构图与主体稳定中背景偶有整体位移,主体没有明显跳变
可观察时长低能稳定观看的片段比较短

打完分后,有几类现象这套维度完全解释不了:画面对应清晰,但按住方向输入后,主体先原地转一下再往前走;播放很顺,可同样的输入做两次,画面给出的结果不一样;长按之后松开,画面还继续漂一段;连续做两步操作时,中间那一步像是被吞掉了。这些都不是画质问题,视频指标里没有对应维度可以记录,所以越看越困惑是正常的。

改成记录操作后画面是否响应、响应是否一致

换视角时,最小可用的方法是「一次输入一行记录」,输入和观察都写在同一行里,时间戳可以粗略,但顺序不能乱。下面是一个通用的记录骨架,可以放在自己的评测表格或日志文件里,字段按实际环境替换。

seq | input        | expected         | observed              | consistent
1   | 按左 短按     | 主体向左位移       | 向左位移              | yes
2   | 按左 长按     | 位移幅度更大       | 位移幅度与短按接近     | no
3   | 按左→按右 连续 | 先左后右,回位     | 只响应了左            | no
4   | 松开          | 画面停止变化       | 仍有一小段漂移         | no

一致性要专门测,方法很朴素:同一段输入重复做两到三次,看结果是否落在同一个范围;把两步操作的顺序对调,看第二步是否依赖第一步;把长按时间从短拉长,看效果是否单调递增,而不是突然跳变或不动。这几项都不需要额外工具,靠屏幕录制或逐帧回看就能确认。

常见的不一致案例有三类。第一类是幅度不成比例:短按和长按的画面变化几乎一样,操作粒度就丢了。第二类是合并响应:快速连续两次同向输入,画面只动一次,多步操作的语义没保住。第三类是释放不收敛:输入停止后画面仍在变化,此时任何依赖「停下就看清楚」的使用方式都会受影响。

Genie 4 世界模型和视频生成不是一回事 / 判断标准要换一套

在同一段结果上比对两套指标给出的结论差异

把两套评分并排放在同一段生成结果上,错位立刻就能看见。

观察点视频指标的看法交互指标的看法冲突点
画面清晰得分较高不参与判断清晰但不跟随输入,结论相反
播放流畅得分中等偏上响应滞后一两步顺不等于及时
主体轻微漂移扣分反向输入后能回位且每次一致视频扣分、交互加分
片段较短扣分有效长度内响应稳定时长不是交互指标

冲突点集中在两处。一是评价对象不同:视频指标评价「看起来好不好」,交互指标评价「用起来准不准」,两者不能互相抵扣,画质好不会让不一致变得可接受。二是失分位置不同:视频指标的失分多在细节和连续帧,交互指标的失分多在对应的稳定性和多步语义,同一段结果可能在一边失分、在另一边保持正常。

哪种更贴近实际,取决于用途。如果目标是可操作的交互环境、原型验证或具身场景的推演,交互一致性更贴近真实体验;如果只是要一段可播放的素材,视频指标仍然有效。判断前先明确用途,再决定以哪套为准,不要两套各取一半拼成结论。

整理一份世界模型的观察清单,替代原来的视频指标

把观察固定成清单,每次评测照着走一遍,结论可复现,也方便横向比对不同配置。

清单条目对应观察动作适用与不适用
响应是否发生给一次单一输入,看下一步画面有无变化适用交互式环境;一次性成片素材不适用
方向与幅度是否匹配短按与长按各做一次,比对变化幅度适用有连续控制量的场景;纯离散动作不适用
是否可复现同一输入重复两到三次,比对结果适用;只有单次结果时无法判断
多步是否连贯连续两步操作,检查第一步效果是否保留适用带状态的环境;单步演示不适用
停止是否收敛松开输入,看画面是否停止变化适用实时交互;离线批量生成不适用
长时是否退化持续操作较长时间,观察画面和响应漂移需结合单次生成长度确认,超出长度的部分不作结论
画质门槛看单帧是否糊到无法辨认主体只作门槛,不作能力结论

使用这份清单时,建议先记录用途和配置(输入方式、单次生成长度、采样设置),再逐条填观察结果;同一段结果不要在中途换配置,否则前后的不一致无法归因。配置里能改的项很多,响应表现往往会随单次生成长度和采样设置一起变化,具体数值需要在自己的环境里跑过再确认。