Audio-Visual Flamingo（AVF）这类多模态模型，首次以本地部署方式使用时，需要准备的不是一份统一依赖清单，而是按“硬件 → 运行库 → 模型权重”的顺序逐层确认。先确认 GPU 驱动与显存是否可用，再安装与 CUDA 匹配的 PyTorch，然后补齐视频和音频处理库，最后下载模型权重并做一次小规模推理测试。任何一层没有准备好，都会在加载视频或模型时暴露问题。
环境准备的关键是先匹配硬件，再安装软件。先确认 NVIDIA GPU 驱动和 CUDA 版本，再装对应 PyTorch；随后安装 ffmpeg、decord、librosa 等视频音频依赖；最后登录 Hugging Face 获取权重，并用一段短视频跑通一次前向推理。优先使用 Linux 系统，Windows 下需要额外处理 ffmpeg 路径。
先确认 GPU 和系统
AVF 属于视频级多模态模型，显存需求通常高于纯文本模型。常见配置下，建议显存不低于 16GB，且必须为 NVIDIA GPU。先运行 nvidia-smi 查看当前驱动支持的 CUDA 版本。若显示 CUDA Version: 12.x，后续安装 PyTorch 时也应该选择匹配的 wheel 包。Linux（Ubuntu 等）环境是这类开源模型最常用的运行平台；Windows 也可以，但需要额外处理 ffmpeg 可执行文件路径和共享内存设置。
创建 Python 虚拟环境并安装 PyTorch
为了方便隔离依赖，建议先创建虚拟环境：
conda create -n avf python=3.10 -y
conda activate avf然后安装 PyTorch。需要先确认 GPU 驱动支持的 CUDA 版本，再选择对应的安装命令。以下示例适用于 CUDA 12.1：
pip install torch torchvision torchaudio `--index-url` https://download.pytorch.org/whl/cu121如果驱动对应的是 CUDA 11.8，则把 cu121 换成 cu118。安装完成后，运行以下命令验证：
python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"输出应包含 True 和显卡名称。如果 cuda.is_available() 为 False，需要检查 PyTorch 版本是否与 CUDA 驱动匹配。
安装视频与音频处理依赖
AVF 同时接收视频帧和音频流，因此不能只装 PyTorch。通常还需要以下库：
- 视频解析：
decord、opencv-python - 视频编解码：
ffmpeg-python，系统需要安装ffmpeg可执行文件 - 音频处理：
librosa、soundfile、audioread
安装命令可合并为：
pip install decord opencv-python ffmpeg-python librosa soundfile系统层面还需要确保 ffmpeg 可用，可以运行 ffmpeg -version 确认。Windows 下需要把 ffmpeg.exe 所在目录加入 PATH，否则视频读取可能在打开文件时失败。
获取模型权重并处理 Hugging Face 登录
AVF 的模型参数通常通过 Hugging Face Hub 分发。首次下载权重时，需要先在项目中配置访问令牌，否则部分仓库会拒绝下载。执行
huggingface-cli login然后粘贴你的 token。如果仓库需要许可，还要先在该模型页勾选同意条款。下载方式有两种：直接使用项目脚本自动下载，或通过 git lfs 手动 clone。若使用后者，先运行 git lfs install，再将 https://huggingface.co/<org>/<model-name> clone 到本地。
下载完成后，不要直接修改权重文件。建议保持模型目录只读，并把路径记录下来。
首次运行前的环境验证
在跑完整 demo 之前，先执行一段环境检查脚本：
python -c "import torch, decord, cv2, librosa, soundfile; print(torch.__version__); print(decord.__version__); print(librosa.__version__)"如果以上导入都成功，说明核心依赖就绪。然后准备一个时长几秒、内容和音频齐全的视频文件，找到项目 README 中推荐的示例命令。大多数仓库会提供一个入口脚本，例如 run_demo.py 或 main.py，调用方式类似：
python run_demo.py `--video`_path /path/to/sample.mp4 `--audio`_path /path/to/sample.wav这里把具体路径替换成你自己的文件。如果脚本内部需要模型路径，通过 `--model`_path 等参数指定。运行后只要能输出视频对应的描述文本或推理结果，就说明环境已经打通。
如果在任意一步出现 CUDA out of memory，先缩小输入视频分辨率或降低帧数；如果出现 module 'av' has no attribute 或 ffmpeg 相关的异常，优先检查系统 ffmpeg 安装及 Python 包版本是否冲突。