Audio-Visual Flamingo（下文简称 AVF）是一个同时理解视频画面和音频轨道的多模态模型。上手前的准备重点不是“安装某个库”，而是把视频正确拆成图像帧和音频特征两路输入，并保证两路在时间上对齐。硬件、软件环境、预处理脚本和权重文件四块，都需要在跑通第一条 demo 之前准备好。
准备 AVF 运行环境，核心是四件事：确认 GPU 显存与 PyTorch 环境、装好视频/音频处理工具链（ffmpeg 等）、把视频转成“图像帧序列 + 音频频谱图”的模型输入、取得对应模型权重。先跑通单条视频的推理，再考虑微调，不要一开始就上训练流程。
先确认硬件与基础运行环境
AVF 是解码器结构的多模态模型，推理时要同时处理视频帧和音频特征，显存占用明显高于纯文本模型。以常见尺寸的权重做推理，建议从 16GB 显存起步评估，具体还要结合你拿到的模型规格和输入分辨率来定；如果是做微调，要多卡或更大显存，这是可以直接估算的：模型参数量 × 精度字节数，再加上激活值和优化器状态。
软件环境通常需要带 CUDA 的 PyTorch、torchvision，以及 ffmpeg 用于解码视频和抽音频。装好后先执行一次 ffmpeg -version 确认可用，再进入下一步；这一步失败后面的预处理全跑不起来。
把视频拆成两路输入
AVF 的输入不是原始 mp4，而是两路已经处理好的特征：视频帧经过视觉编码器，音频经过音频编码器。准备数据时通常分三步：
- 按固定帧率抽帧，常见做法是每秒 1-4 帧，把视频变成一组 RGB 图像；
- 解码音频轨，转成对数梅尔频谱图（log-mel spectrogram），并按时间窗口切成片段；
- 把图像帧和音频片段按时间戳对齐，组成同一时间点的输入对。
最容易出错的是时间对齐。抽帧数和音频片段数不一致时，模型仍可能执行，但输出内容会错位。建议预处理时先生成一个带时间戳的对齐清单，人工检查几条再批量处理。
权重准备与推理骨架
权重文件从模型发布方获取后，需要确认里面是否包含完整的视觉编码器、音频编码器和语言模型参数；如果只拿到部分参数，要对照发布说明补齐。加载权重不报错不代表输入格式正确，一定要跑一条测试视频看输出。
下面是一个通用推理流程骨架，用来理解输入输出的组织方式，不是某个仓库的官方 API：
frames = extract_frames("demo.mp4", fps=2) # 抽帧
audio = extract_audio_track("demo.mp4") # 解码音轨
spectrogram = to_log_mel_spectrogram(audio) # 音频转频谱图
inputs = align_by_timestamp(frames, spectrogram) # 两路对齐
output = model.generate(
visual_inputs=inputs["frame_features"],
audio_inputs=inputs["audio_features"],
text_prompt="Describe what is happening in this video.",
)
print(output.text)如果环境里没有现成的 extract_frames 这类封装，直接用 ffmpeg 命令行抽帧和提音频，再在 Python 里读取生成结果，效果一样。
验证跑通与常见卡点
建议准备三条测试样本：画面动作明显的、音频事件明显的、画面和音频内容不一致的。前两条确认两条输入通路都有效，第三条用来观察模型更依赖哪一路信号。输出文本如果同时和画面、音频相关，基本可以判定流程是通的。
常见卡点集中在四类：ffmpeg 解码失败（换装完整版本）、显存不足（降低帧率或输入分辨率）、权重与模型结构不匹配（检查配置里的层数和维度）、音频采样率不一致（统一重采样到模型预期值，以你拿到的权重说明为准）。
常见问题
官方权重没有开放，还能先做准备吗？
可以。先用同架构的开源实现搭一个最小推理 demo，把数据预处理链路验证完，权重开放后直接替换加载部分。不要因为权重缺失就跳过数据管线测试。
只有 CPU 环境，能做哪些准备？
视频预处理、时间戳对齐、输出校验脚本都跟 GPU 无关，可以全部写好并用极短视频跑通。模型推理部分留到有 GPU 的环境再执行。