Hy-Nomas 做交互式视频世界先看输入,首帧画面和操作指令决定生成走向

文章导读
手上只有几张图和一段描述,能不能直接喂给 Hy-Nomas 生成一个可操作的视频世界?判断点不在模型一侧,而在输入一侧:首帧画面里有多少信息,决定世界初始长什么样;操作指令写到什么颗粒度,决定它能不能被驱动。素材基本对齐时,可以先跑一次很短的推理看看反应;素材本身含糊时,改提示词通常没用,先换首帧更划算。
📋 目录
  1. 一 把需求拆成场景外观和可操作两部分
  2. 二 在首帧素材上确认画面信息是否足够
  3. 三 整理一段能被模型读懂的场景描述
  4. 四 把操作指令写成模型能响应的动作词
  5. 五 用一次短推理验证素材是否被正确读取
A A

手上只有几张图和一段描述,能不能直接喂给 Hy-Nomas 生成一个可操作的视频世界?判断点不在模型一侧,而在输入一侧:首帧画面里有多少信息,决定世界初始长什么样;操作指令写到什么颗粒度,决定它能不能被驱动。素材基本对齐时,可以先跑一次很短的推理看看反应;素材本身含糊时,改提示词通常没用,先换首帧更划算。

如果首帧能看清唯一主体、起始视角和主光方向,场景描述与画面不打架,操作指令能落到“前进、左转、停下”这类可执行动作词,通常就可以先用一次短推理验证。如果首帧构图含糊、描述和画面对不上,或指令还停在“随便逛逛”这一层,建议先补素材再生成。边界:单次短推理只能看画面是否漂移、视角是否跟随指令,不能替代完整场景的可用性评估。

把需求拆成场景外观和可操作两部分

同样一句要求,可能只考外观,也可能要交互响应,这两类对素材的最低要求并不一样。先把自己的目标归到其中一类,再去看手上的素材够不够。混合需求也可以,但要清楚哪部分靠首帧撑,哪部分靠指令撑。

场景外观(只要求看起来对)可操作交互响应(要求能被指令驱动)
最小素材:一张构图干净的首帧或参考图,加一段只描述主体、环境、镜头位置的短文本。不要求视频片段。最小素材:一张首帧,加一段明确相机起始视角和空间关系的描述,加一组动作词。首帧必须能看出透视方向,否则视角跟随无从判断。
自测问题:只看首帧,我能不能一句话说清主体是什么、站在哪里?自测问题:如果让画面往前走两步,我能预判画面里哪个物体会变大、从哪一侧移出视野吗?

第二列的自测问题过不了,通常说明首帧缺少可延展的空间结构,只有平面的贴图感,这时候补文字描述帮助有限。

在首帧素材上确认画面信息是否足够

首帧决定世界的初始长相,所以排查顺序建议从素材开始,而不是从提示词开始。一张能用的首帧,通常需要同时具备三件事:

  • 主体:画面里有明确的一个主目标,位置稳定、不被边缘裁切,尺寸足够辨认材质和轮廓。
  • 起始视角:能看出相机大概的高度和朝向,比如平视街景、略俯视桌面、低机位仰拍,这直接决定后续视角变化往哪个方向走。
  • 光照方向:有相对明确的主光来源,阴影落点与光源方向一致,避免画面里同时出现互相矛盾的多个强光源。

常见的反面情形:拿一张远景合影式截图当首帧,主体只占很小一块,周围全是杂乱背景;画面有多处强反光和互相冲突的阴影;带大面积运动模糊或界面遮挡;主体被边框切掉一半。这类首帧模型只能靠猜来确定主体是谁、场景有多深,生成出来的世界容易在第一次操作时就失去空间感。

Hy-Nomas 做交互式视频世界先看输入,首帧画面和操作指令决定生成走向

整理一段能被模型读懂的场景描述

文本描述的作用是补首帧看不全的部分,比如地面材质、背景延伸方向、机位高度,重点是不要和首帧互相拆台。可以直接用下面这个模板,三个字段写完就够用一次初测:

主体:一辆停在充电桩旁的银色两厢车,车头朝画面左侧
环境:夜间城市街道,湿沥青路面,两侧低层店铺,远处有路灯
镜头位置:距车约四米,机位高约一点二米,朝向车头略偏左,视野覆盖整条车道

改写前后的差别通常在具体程度上。改写前:

一个很酷的未来城市,赛博朋克风格,细节丰富,画质高

改写后:

Hy-Nomas 做交互式视频世界先看输入,首帧画面和操作指令决定生成走向
主体:街道中央一辆银色两厢车,车门关闭,轮胎接触地面
环境:夜间城市街道,湿沥青地面有反光,两侧三层以下店铺,背景无高层建筑
镜头位置:水平机位,高约一点二米,朝向车尾方向,主体位于画面偏左三分之一处

改写后没有形容词,但每个字段都能和首帧对上。判断标准很简单:把描述里的每一句对照首帧看一遍,凡是首帧里没有依据又会影响画面的内容,就先删掉。首帧是俯视而描述写“平视街道”,或者首帧是白天而描述强调“霓虹灯反光”,都是典型冲突项,冲突时建议以首帧为准,把描述改成描述首帧已有的东西。

把操作指令写成模型能响应的动作词

操作指令解决的是“怎么动”,颗粒度太粗模型不知道往哪动,太细又容易和帧率、时长绑死,反而不可控。常见可用动作词:

  • 移动类:前进、后退、左移、右移、加速、减速、停下
  • 转向类:左转、右转、抬头、低头、转身一百八十度
  • 状态类:保持当前视角、回到起始视角、沿原路返回
  • 交互类:靠近、拾取、观察、开门(需要场景里确实存在对应物体)

过粗的写法:“随便走走看看”“自动探索一下周围”,这类指令没有方向也没有终点,模型通常只能给一段自发的镜头漂移,很难验证是否响应了指令。过细的写法:“以每秒零点三米的速度沿正前方向前进零点五秒然后停止”,把速度、时长写死,一旦场景尺度与预期不符,动作幅度就会显得过大或几乎看不出。

修正建议是补上方向和目标,去掉不可控的绝对量:把上面那句改成“向前走到接近墙面前停下”,把“随便逛逛”改成“先左转看向门口,再前进两步”。判断是否可以执行,看这条指令能否回答三个问题:往哪个方向、大概多远或到哪为止、结束后画面应该长什么样。

Hy-Nomas 做交互式视频世界先看输入,首帧画面和操作指令决定生成走向

用一次短推理验证素材是否被正确读取

在正式做完整场景之前,先发一次短请求,只带首帧、描述和一到两条动作词,看模型是否真的把输入读进去了。请求骨架可以写成这样,字段名按实际接入方式替换:

{
  "first_frame": "<首帧图片>",
  "scene_text": "主体:... 环境:... 镜头位置:...",
  "actions": ["保持当前视角", "向前走两步", "左转看向门口"],
  "duration": "short"
}

观察点按顺序看三项,逐项记录,不要合并成一句“效果不好”:

  1. 画面是否漂移:发出“保持当前视角”后,背景细节是否仍在持续变化、主体轮廓是否逐渐变形。持续漂移通常说明首帧信息不足,模型在用猜测补画面。
  2. 视角是否跟随操作:发出左转后,画面变化方向是否与指令一致,左转却出现右移,属于方向理解偏差,先检查描述里的机位朝向是否写清。
  3. 场景是否突然切换:在没有新指令的情况下背景元素整体换了一套,或主体换成了另一个物体,说明描述与首帧存在冲突或首帧主体不够唯一。

三项里只出现第一项,优先换首帧重新试;出现第二、第三项,优先修描述和动作词,把冲突项删掉再跑一次同样的短请求。这套验证只能说明输入是否被正确读取,进一步判断世界是否好用,需要结合具体场景和多轮操作一起确认。