Audio-Visual Flamingo 支持哪些媒体文件格式？

Audio-Visual Flamingo 这类视觉-听觉模型的实际输入通常是“视频帧序列 + 音频波形”，而不是直接解析原始媒体容器。也就是说，模型关心的不是文件后缀，而是你在加载文件后喂给模型的是否是它能识别的张量。因此，具体能处理哪些文件格式，完全取决于你使用的实现里预处理器调用的解码库。

判断 Audio-Visual Flamingo 能处理什么文件，最可靠的方法是查看加载代码里实际调用的解码器（如 ffmpeg、decord、cv2.VideoCapture）和音频库（如 torchaudio、librosa）。先准备一个短 MP4 和 WAV 做最小测试，比查文档更直接；如果文件解码失败，再用 ffmpeg 转码为 H.264 + AAC 的 MP4 或 WAV 通常能适配大多数管线。没有统一支持清单，需要结合环境确认。

模型实际读取的是什么

多模态模型的预处理流程一般分为两条路径：视频路径用 OpenCV、Decord 或 PyAV 将视频文件解码为 RGB 帧，再缩放到固定分辨率；音频路径用 torchaudio、librosa 或 soundfile 将音频解码为单声道波形，再重采样到固定采样率。所以“支持格式”就变成“解码库能否打开这个文件”。同一份代码在本地能播放 MP4，在 Docker 容器里可能因为缺少 H.264 解码器而失败。

在开源实现里，通常能在数据加载相关文件里看到类似 decord.VideoReader(path)、cv2.VideoCapture(path)、torchaudio.load(path) 的调用。找到这些调用，就能顺着库的文档确认格式边界。

确认当前环境支持哪些格式

如果加载管线使用 ffmpeg 或底层依赖 ffmpeg，可以直接在运行环境里查看编译支持范围：

# 查看支持的容器格式<br>ffmpeg -formats<br><br># 查看支持的编码/解码器<br>ffmpeg -codecs

然后对照你的媒体文件编码信息：

ffprobe your_file.mp4

ffprobe 会显示容器的实际编码，比如 h264、aac、mp3。如果 ffmpeg -codecs 中没有对应解码器，该文件基本无法被直接读取。注意，ffmpeg -formats 的输出是编译选项决定的，不是模型决定的。

常见可用的媒体格式参考

虽然没有统一清单，但大多数依赖 ffmpeg 的预处理器至少能处理这些常用格式，建议优先准备：

视频：MP4（H.264 + AAC）、WebM（VP8/VP9 + Opus）、MOV
音频：WAV（PCM）、MP3、FLAC

需要注意容器和编码是两回事。例如 .mkv 可能封装了 H.264，但某些编译版本不开 MKV 解复用器，照样失败。另一个容易忽略的点是采样率和帧率：即使格式支持，模型可能要求音频重采样到 16kHz、视频抽帧到固定的每秒帧数，所以“能解码”不等于“能直接进模型”。

格式不合适时的处理方式

当文件解码失败时，先用 ffmpeg 转成通用格式。下面是一个保守的转码方案：

# 视频转 H.264 + AAC，兼容 MP4<br>ffmpeg -i input.mkv -c:v libx264 -c:a aac -movflags +faststart output.mp4<br><br># 音频转 16kHz 单声道 WAV<br>ffmpeg -i input.m4a -ar 16000 -ac 1 output.wav

如果只需要音频，也可以直接解出 WAV 喂给音频分支。转码后再次用 ffprobe 确认编码和采样率，再跑一次模型。

最小验证清单

先准备一个不超过 10 秒、编码为 H.264 + AAC 的 MP4 文件。
在预处理脚本里单独加载这个文件，打印视频帧数量和音频波形长度。
如果加载失败，把报错信息里的解码器名称与 ffmpeg -codecs 对照。
换 WAV（PCM, 16kHz, 单声道）测试音频路径，排除容器干扰。
记录当前 Python 环境、ffmpeg 版本和系统包，方便排查无关因素。

这个清单能帮你快速区分是格式问题、编解码器问题，还是预处理参数不匹配。