画面和节拍对不上,通常不是生成质量的问题,而是顺序反了:先让 Gen-3 生成一批片段,再回头去找节拍,后面必然要做大量裁切和重排。更稳的做法是先在音频里把节拍时间点固定下来,把这条时间轴当作唯一参照,再按节拍区间分段生成,导出前逐段核对。Runway Gen-3 本身不读取音频,也没有自动卡点能力,节拍信息只能由你在外部工具里标好,再手动带进生成和拼接流程。
这类任务通常不是让工具自动识拍,而是先用外部工具标出节拍时间点,再按节拍区间分段生成、逐段核对、最后按标记顺序拼接。适用场景是有明确鼓点或段落重音的短片;边界在于 Gen-3 一侧不做音频分析,偏移只能靠预览比对、裁切入点或重新生成来修,无法保证一次通过。
导入音频并标记节拍位置
节拍点要落到具体时间上,不能只靠“大概在第几秒”的感觉。可以在任意 DAW 或音频编辑器里完成这一步,流程基本一致:把音频拖进轨道,放大波形,找瞬态起始位置——鼓点、重音的开头通常有一段明显更密的波形。先粗标一遍,再回放校正。
- 把播放速度降到 0.5x 左右,边听边在重音处按标记快捷键打点,避免快放时漏拍。
- 标记要分层级:主拍(小节第一拍或最重的鼓点)单独加前缀,弱拍用另一种命名,方便后面决定哪些点需要切画面。
- 标完导出标记列表,得到“序号 + 时间”的文本或 CSV,后续所有操作都以这份列表为参照。
# beat_marks.csv(外部工具导出后自己整理,时间为占位符)
index,time_sec,level,note
01,<start>,bar,起始静场
02,<t1>,bar,主拍,准备切镜
03,<t2>,beat,弱拍,动作加速
04,<t3>,bar,主拍,画面峰值需要确认的是,标记精度取决于你的操作,通常控制在一到两帧以内就够用,不必追求毫秒级。如果音频本身速度不稳,比如现场录音或自由速度的段落,建议只标明显的重音,别把每个细碎音都当节拍点,否则后面的分段会过密、生成次数成倍增加。
在 Runway Gen-3 中按节拍分段生成画面
把节拍列表转成生成计划,先决定哪些节拍之间换一次画面。常见做法是以一个小节或两拍为一个区间,每个区间对应一段生成。相邻节拍点的差值就是这段的目标时长,再对照 Gen-3 当前允许的生成时长做取舍,可用秒数以你所在界面的实际限制为准。
- 一段生成不要塞进多个镜头变化。一个区间只描述一个动作或一次运镜,卡点才不会被片段内部的变化稀释。
- 提示词里写清“变化发生在什么时候”,例如“开头静止,后段开始平移”,让动作峰值有机会落到区间末尾的节拍上。
- 同一区间可以生成多条候选,但主体、风格描述、镜头方向尽量保持一致,差异只放在运动速度上,方便横向对比。
镜头:中景,人物站在窗边
动作:前二分之一静止,后二分之一快速转身面向镜头
运镜:缓慢推近
光线/风格:清晨侧光,冷色调
对应节拍区间:beat_02 → beat_04分段生成的代价是片段之间可能跳变。如果整体需要连贯,可以在相邻两段的提示词里保留同一句主体与环境描述,或者用同一张参考图起步。这里不要指望 Gen-3 帮你算节拍,它只按提示词出画面。
预览时逐段核对画面变化与节拍是否同步
导出前要把生成片段放回音频所在的工程里逐段看。做法是把每段视频的起点对齐到它对应的节拍标记,然后从这一段前一个节拍开始播放,只看这一段的画面变化点(起手、加速、转身、切镜)落在哪个位置。
- 逐段播放,记录偏移方向(画面早于节拍还是晚于节拍)和大致偏移量,用帧或毫秒记,不要只写“有点慢”。
- 偏移很小的情况,可以直接裁掉片段开头或结尾的几帧来对齐入点。
- 偏移明显、裁切会破坏动作完整性的,回到提示词里改动作发生的时间占比,重新生成这一条。
- 把记录写在同一张表里,导出前再对照一遍,避免修好一段又弄乱另一段。
# 核对记录(示例结构)
段号,目标节拍,画面变化点位置,偏移方向,偏移量,处理
S01,beat_02,区间前段起手,偏早,约 3 帧,裁开头
S02,beat_04,区间末尾才转身,偏晚,约 6 帧,重新生成Gen-3 每次生成的结果不完全可复现,重生成后偏移量可能变化,所以核对要基于这一轮实际拿到的片段,别用上一轮的印象判断。核对通过再往下走,能省掉成片阶段的大量返工。
导出序列并按节拍顺序拼接
导出阶段最容易出错的是顺序。建议在文件名里直接把节拍位置写进去,让排序和拼接都能自解释。
shot_S01_beat_02-04_take1.mp4
shot_S02_beat_04-06_take1.mp4
shot_S03_beat_06-08_take2.mp4- 命名包含三部分:段号、覆盖的节拍区间、take 编号。同一区间有多条候选时,只把最终选中的那条放进拼接目录。
- 整个序列的导出参数保持一致:分辨率、帧率、色彩空间不要一段一个样,否则接缝处会有肉眼可见的跳变。
- 拼接顺序按节拍时间递增排,不要直接交给工具的默认字母排序,先人工确认一遍顺序再合成。
拼接后逐项检查:从音频开头整段播放,主拍处是否都有对应画面变化;段与段接缝有没有重复帧或黑帧;成片总时长和音频是否一致。检查通过再输出最终文件,如果需要调整,回到对应那一段单独修改,不必整条重做。