处理多段视频时,Audio-Visual Flamingo 的实际路径是:每段视频先独立经过视觉和音频编码器,再用 Perceiver Resampler 压缩成固定 token 数,最后把所有视频的压缩结果按顺序拼接,作为一条长序列送入语言模型。多段视频的边界并没有单独的结构标记,拼接位置就是模型理解的时间次序,所以跨段问题能否回答,取决于最后拼接顺序与任务期望是否一致。
先确认两件事,再谈怎么输入
第一是上下文窗口长度。AVF 底层语言模型决定了最终能接受的 token 总量,多段视频拼接后的总 token 数不能超过这个窗口。第二是 Perceiver Resampler 对每段视频输出的 token 数。这个数值通常是固定的,和视频时长关系不大,真正影响总 token 数的是“视频段数 × 每段输出 token 数”,而不是视频有多少帧。可以先跑一次单段视频的前向传播,把单段 token 数记下来,再按计划拼接的段数估算是否超限。
处理流程:每段视频独立采样,再拼接 token 序列
如果当前环境没有现成实现,需要自行接入 AVF,建议按照下面骨架组织预处理逻辑。这段代码不是指定 SDK 的调用接口,只是把流程拆开,方便在现有框架里找到对应修改位置。
def process_videos(video_paths):
video_token_list = []
for path in video_paths:
# 每段视频独立抽帧与抽音频
frames = extract_frames(path, fps=args.fps) # 视觉帧
audio = extract_audio(path, sample_rate=args.audio_sr)
# 编码器产生原始视觉/音频 token
vis_tokens = vision_encoder(frames) # [num_frames, d]
aud_tokens = audio_encoder(audio) # [num_windows, d]
# 同一段视频的视觉和音频特征先拼在一起
per_video_tokens = torch.cat([vis_tokens, aud_tokens], dim=0)
# Perceiver Resampler 把不定长序列压缩成固定 token 数
sampled = perceiver_resampler(per_video_tokens.unsqueeze(0))
video_token_list.append(sampled)
# 拼接全部视频的采样 token,按输入顺序对应时间先后
final_sequence = torch.cat(video_token_list, dim=1)
return final_sequence
真正影响结果的是两个参数:extract_frames 的 fps 和 extract_audio 的采样窗口长度。当拼接后超过上下文窗口时,优先降低这两个数值,而不是直接减少视频段数。每次调整后都要重新确认最终序列长度。
验证多段视频确实进入了模型
多段视频拼接后,最常见的故障是模型只看到了最后一段视频,或者把多个视频当成一个整体来处理。可以通过一组简单验证来排除:
- 用两段内容明确的视频做测试:视频 A 拍一个苹果,视频 B 拍一把刀,提问“画面里有什么”。能够同时回答两者,说明两个视频的 token 都进了模型。
- 交换视频 A 和视频 B 的输入顺序,再问同样的问题。正常情况答案中的物品顺序应该随输入顺序变化;如果结果完全不变,说明段边界信息可能被截断或丢失。
- 检查送入语言模型的 tensor 形状,确认它是 [batch, total_tokens, hidden_size],不是把多段视频放在了 batch 维度上。取最后一帧 index 或最后一个视频 token 是常见的实现错误,需要检查特征拼接之后的取值方式。
- 如果模型回答的内容在视频中根本不存在,先怀疑是上下文窗口截断导致模型只看到后半段特征,不一定是模型幻觉。
超限和异常时的回退路径
- 序列超长或显存不足时,优先降低每段视频的采样频率。视频时间对齐关系会随采样率变化而变化,需要重新检查关键帧是否仍然保留。
- 如果降低采样率后依然超限,把更长的那段视频按时间切成更短的片段再拼接。但切开后会改变模型对连续动作的理解,适合场景问答,不适合需要精确时间关联的任务。
- 输出来自多段视频的内容时出现重叠或互相污染,可以在每段视频的 token 拼接处插入自定义分隔 token。分隔 token 在多数派生实现里不是默认行为,插入前需要确认语言模型词表里是否存在对应嵌入,否则需要微调才能生效。
- 模型只回应最后一段视频时,回到验证清单第 3 条,检查是否在某个张量操作里把前面视频的 token 覆盖了,而不是调整采样参数。
支持多段视频的关键判断:如果架构中有类似于 Perceiver Resampler 的固定长度压缩机制,那么多段视频在推理时可行,限制在上下文窗口和显存;如果模型在训练时固定了视频段数和输入模板,那么推理时也只能按训练时的段数处理,这时可能需要用分段摘要的方式绕开限制。