Audio-Visual Flamingo(AVF)这类多模态模型的输入方式,核心是让音频和视频在进入模型前先完成"对齐":视频需要抽取帧或片段,音频需要转成波形或经过编码器,两者按时间轴对应,再一起组织成模型能读取的张量或 token 序列。你真正要解决的不是"能不能同时传",而是"用哪个入口传、传进去后模型如何区分两个模态"。下面按通用接入骨架来写,不绑定某个具体实现版本,实际使用时需要结合你拿到的模型仓库或 API 文档确认参数名。
先确定输入入口:是单尾输入还是双流输入
AVF 的常见设计有两种:一种是视频帧和音频波形拼接成同一段序列,只走一个视觉编码器或联合编码器;另一种是分开两个编码器,最后在 Transformer 层融合。先看模型定义或加载代码里的 `forward` 函数签名,找有没有 `audio`、`video`、`frames`、`audio_waveform` 这类参数。如果只有 `pixel_values` 和 `input_ids`,说明音频可能要走文本侧或额外预处理。先把入口确认清楚,再谈拼接,否则容易在维度上出错。
可复制片段 1:构造输入 JSON 的骨架
以常见的 HTTP API 接入为例,发送请求时把视频帧和音频波形放在同一个 payload 里,用不同字段区分。注意 `video_frames` 是处理后的帧序列,`audio_waveform` 是采样率对应的一维数组,不是原始文件路径。如果模型接收的是特征,则先过视觉编码器和音频编码器再传。
POST /generate
Content-Type: application/json
{
"video_frames": [
[0.2, 0.5, ...], // 每帧平铺的像素值,形状需与模型预期一致
[0.3, 0.4, ...]
],
"audio_waveform": [0.01, -0.02, 0.03, ...],
"audio_sample_rate": 16000,
"text_prompt": "What action happens after the sound?",
"max_new_tokens": 128
}
这个片段的作用是作为请求格式对照表。你要替换的是 `video_frames` 的每一帧维度、`audio_waveform` 的长度和数值范围。验证方式:先只传视频帧,模型能输出结果;再只传音频波形,模型也能输出结果;最后同时传,如果报维度不匹配,说明拼接层需要额外对齐。
可复制片段 2:Python 端的时间轴对齐伪代码
音频和视频来自同一个录制文件时,要保证帧序号和音频时间戳对应。下面是一段通用伪代码,演示如何把视频抽帧和音频切片对齐,再喂给模型。真实实现中可能需要用 `decord`、`torchaudio` 或你环境里已有的库替换对应部分。
import torch
from your_avf_model import load_model
model = load_model("your_avf_checkpoint")
# 1. 读取视频和音频
video_reader = VideoReader("clip.mp4") # 这里是示意
frame_indices = [0, 5, 10, 15] # 取第 0,5,10,15 帧
frames = [video_reader[i] for i in frame_indices]
# 2. 音频按对应时间切片
fps = 25
for i, frame_idx in enumerate(frame_indices):
start_time = frame_idx / fps # 秒
end_time = start_time + 1/fps
audio_segment = load_audio("clip.mp4", start_time, end_time) # 示意函数
audio_segment = resample(audio_segment, target_sr=16000)
# 3. 批量打包
tensor_frames = torch.stack(frames).unsqueeze(0) # shape 增加 batch 维
waveform_list = [audio_segment for _ in frame_indices]
tensor_audio = torch.stack(waveform_list).unsqueeze(0)
# 4. 调用模型
try:
output = model(video=tensor_frames, audio=tensor_audio, text="What is happening?")
except TypeError:
# 如果模型不接受 audio 关键字,检查是不是需要拼接在 video 维度
concatenated = torch.cat([tensor_frames, tensor_audio], dim=-1)
output = model(video=concatenated, text="What is happening?")
这段代码的价值是让你快速暴露接口差异。`try/except` 不是优雅方案,只是用来确认模型支持哪种输入。真正使用时,应该直接读模型源码里 `forward` 的断言或预处理函数。
验证与排查清单
按下面的顺序做,能定位大多数输入问题。
- 先从模型仓库里找示例或测试文件,确认输入字段名是 `video` 还是 `video_frames`,是 `audio` 还是 `audio_features`,不要凭猜。
- 检查音频采样率:很多模型内部预设 `16kHz`,如果传入 44.1kHz 的波形,要么重采样,要么在预处理里设置 `sample_rate` 字段。
- 检查视频帧尺寸:AVF 通常会把帧缩放到固定尺寸(如 224x224),如果原始分辨率不同,先做中心裁剪或缩放,再归一化到 [0,1] 或 [-1,1]。
- 确认时间对齐粒度:如果模型要求每段音频对应一个视频 token,那么抽帧间隔和音频切片长度必须是成倍关系。例如 1 秒视频抽 4 帧,音频就切成 4 段,每段 0.25 秒。
- 跑一个最简回归测试:只输入一段纯黑视频和静音音频,看模型是否报错,不报错再换真实数据。
如果以上都能通过,仍然输出乱码或语义错乱,那大概率不是格式问题,而是模型在预训练时没有使用这种输入组合,需要对音频和视频分支做轻量微调。
边界说明
不同版本的 AVF 对音频编码器是否冻结、是否采用对比损失预训练有不同的处理,所以上面的代码只能作为起点。如果你的环境里模型是自己加载的,建议先打印 `model.config` 查看音频相关配置项,再决定是否需要额外添加投影层。本文不针对某个具体发布版本,所有参数名都需要对照实际代码确认。