如何把音频和视频一起输入 Audio-Visual Flamingo?

文章导读
Audio-Visual Flamingo(AVF)这类多模态模型的输入方式,核心是让音频和视频在进入模型前先完成"对齐":视频需要抽取帧或片段,音频需要转成波形或经过编码器,两者按时间轴对应,再一起组织成模型能读取的张量或 token 序列。你真正要解决的不是"能不能同时传",而是"用哪个入口传、传进去后模型如何区分两个模态"。下面按通用接入骨架来写,不绑定某个具体实现版本,实际使用时需要结合你
📋 目录
  1. 一 先确定输入入口:是单尾输入还是双流输入
  2. 二 可复制片段 1:构造输入 JSON 的骨架
  3. 三 可复制片段 2:Python 端的时间轴对齐伪代码
  4. 四 验证与排查清单
A A

Audio-Visual Flamingo(AVF)这类多模态模型的输入方式,核心是让音频和视频在进入模型前先完成"对齐":视频需要抽取帧或片段,音频需要转成波形或经过编码器,两者按时间轴对应,再一起组织成模型能读取的张量或 token 序列。你真正要解决的不是"能不能同时传",而是"用哪个入口传、传进去后模型如何区分两个模态"。下面按通用接入骨架来写,不绑定某个具体实现版本,实际使用时需要结合你拿到的模型仓库或 API 文档确认参数名。

先确定输入入口:是单尾输入还是双流输入

AVF 的常见设计有两种:一种是视频帧和音频波形拼接成同一段序列,只走一个视觉编码器或联合编码器;另一种是分开两个编码器,最后在 Transformer 层融合。先看模型定义或加载代码里的 `forward` 函数签名,找有没有 `audio`、`video`、`frames`、`audio_waveform` 这类参数。如果只有 `pixel_values` 和 `input_ids`,说明音频可能要走文本侧或额外预处理。先把入口确认清楚,再谈拼接,否则容易在维度上出错。

可复制片段 1:构造输入 JSON 的骨架

以常见的 HTTP API 接入为例,发送请求时把视频帧和音频波形放在同一个 payload 里,用不同字段区分。注意 `video_frames` 是处理后的帧序列,`audio_waveform` 是采样率对应的一维数组,不是原始文件路径。如果模型接收的是特征,则先过视觉编码器和音频编码器再传。

如何把音频和视频一起输入 Audio-Visual Flamingo?
POST /generate
Content-Type: application/json

{
  "video_frames": [
     [0.2, 0.5, ...],  // 每帧平铺的像素值,形状需与模型预期一致
     [0.3, 0.4, ...]
  ],
  "audio_waveform": [0.01, -0.02, 0.03, ...],
  "audio_sample_rate": 16000,
  "text_prompt": "What action happens after the sound?",
  "max_new_tokens": 128
}

这个片段的作用是作为请求格式对照表。你要替换的是 `video_frames` 的每一帧维度、`audio_waveform` 的长度和数值范围。验证方式:先只传视频帧,模型能输出结果;再只传音频波形,模型也能输出结果;最后同时传,如果报维度不匹配,说明拼接层需要额外对齐。

可复制片段 2:Python 端的时间轴对齐伪代码

音频和视频来自同一个录制文件时,要保证帧序号和音频时间戳对应。下面是一段通用伪代码,演示如何把视频抽帧和音频切片对齐,再喂给模型。真实实现中可能需要用 `decord`、`torchaudio` 或你环境里已有的库替换对应部分。

如何把音频和视频一起输入 Audio-Visual Flamingo?
import torch
from your_avf_model import load_model

model = load_model("your_avf_checkpoint")

# 1. 读取视频和音频
video_reader = VideoReader("clip.mp4")  # 这里是示意
frame_indices = [0, 5, 10, 15]           # 取第 0,5,10,15 帧
frames = [video_reader[i] for i in frame_indices]

# 2. 音频按对应时间切片
fps = 25
for i, frame_idx in enumerate(frame_indices):
    start_time = frame_idx / fps          # 秒
    end_time = start_time + 1/fps
    audio_segment = load_audio("clip.mp4", start_time, end_time)  # 示意函数
    audio_segment = resample(audio_segment, target_sr=16000)

# 3. 批量打包
tensor_frames = torch.stack(frames).unsqueeze(0)  # shape 增加 batch 维
waveform_list = [audio_segment for _ in frame_indices]
tensor_audio = torch.stack(waveform_list).unsqueeze(0)

# 4. 调用模型
try:
    output = model(video=tensor_frames, audio=tensor_audio, text="What is happening?")
except TypeError:
    # 如果模型不接受 audio 关键字,检查是不是需要拼接在 video 维度
    concatenated = torch.cat([tensor_frames, tensor_audio], dim=-1)
    output = model(video=concatenated, text="What is happening?")

这段代码的价值是让你快速暴露接口差异。`try/except` 不是优雅方案,只是用来确认模型支持哪种输入。真正使用时,应该直接读模型源码里 `forward` 的断言或预处理函数。

验证与排查清单

按下面的顺序做,能定位大多数输入问题。

如何把音频和视频一起输入 Audio-Visual Flamingo?
  • 先从模型仓库里找示例或测试文件,确认输入字段名是 `video` 还是 `video_frames`,是 `audio` 还是 `audio_features`,不要凭猜。
  • 检查音频采样率:很多模型内部预设 `16kHz`,如果传入 44.1kHz 的波形,要么重采样,要么在预处理里设置 `sample_rate` 字段。
  • 检查视频帧尺寸:AVF 通常会把帧缩放到固定尺寸(如 224x224),如果原始分辨率不同,先做中心裁剪或缩放,再归一化到 [0,1] 或 [-1,1]。
  • 确认时间对齐粒度:如果模型要求每段音频对应一个视频 token,那么抽帧间隔和音频切片长度必须是成倍关系。例如 1 秒视频抽 4 帧,音频就切成 4 段,每段 0.25 秒。
  • 跑一个最简回归测试:只输入一段纯黑视频和静音音频,看模型是否报错,不报错再换真实数据。

如果以上都能通过,仍然输出乱码或语义错乱,那大概率不是格式问题,而是模型在预训练时没有使用这种输入组合,需要对音频和视频分支做轻量微调。

边界说明

不同版本的 AVF 对音频编码器是否冻结、是否采用对比损失预训练有不同的处理,所以上面的代码只能作为起点。如果你的环境里模型是自己加载的,建议先打印 `model.config` 查看音频相关配置项,再决定是否需要额外添加投影层。本文不针对某个具体发布版本,所有参数名都需要对照实际代码确认。