如何用自定义数据微调 Audio-Visual Flamingo？

用自定义数据微调 Audio-Visual Flamingo（AVF）这类多模态模型，核心不在于照搬某个官方脚本，而是要先把训练目标和数据格式定下来。AVF 把视频帧、音频信号和文本指令映射到同一个语义空间里，所以微调时既要考虑视觉编码器怎么抽帧，也要考虑音频编码器怎么对齐时间轴，还要确保交叉注意力层能学到两种模态之间的互动关系。整体路线可以概括为：准备视频-音频-文本三元组数据，构造训练脚本，选择全量微调或低秩适配，最后用一组小样本来验证损失是否下降、生成回答是否符合预期。

微调 AVF 的关键不是复现论文里的超参数，而是把自定义数据整理成“视频片段 + 音频样本 + 指令/回答”的结构化样本。建议先冻结视觉和音频编码器，只训练融合模块和语言头；在数据量少于数千条时，优先考虑 LoRA 这类参数高效方法。验证时不看单条样本的生成质量，要看多模态对齐是否稳定，比如视频内容变化时回答是否跟着变。

微调 AVF 的基本思路

AVF 在结构上通常包含视频编码器、音频编码器和基于 Flamingo 的跨模态融合层。微调时，你需要明确三个选择：第一，是否冻结编码器。如果自定义数据与预训练数据分布差异不大，建议冻结编码器，只训练感知器重采样层和语言模型内的交叉注意力层，这样能显著减少显存占用。第二，时间对齐粒度。视频帧一般按固定 fps 抽样，音频特征可以用预训练模型提帧级特征，两者需要在时间维度上配对。第三，输出形式。你的任务是视频问答、时间点定位还是多选推理，这会直接影响损失函数和训练目标。

数据准备：用 JSONL 统一三种模态

建议不要直接在一张表里记录视频路径和文本标签，而是用 JSONL 文件每行一个样本。字段可以这样设计：

{"video": "path/to/clip.mp4", "audio": "path/to/audio.wav", "conversations": [{"from": "human", "value": "描述这个片段里发生了什么"}, {"from": "gpt", "value": "一个人正在厨房里切菜，背景有流水声"}]}

数据读取时，可以写一个 PyTorch Dataset：加载视频文件，用 OpenCV 或解码库抽帧；音频用 torchaudio 或 librosa 加载，并提取梅尔频谱或预训练的音频特征。建议使用相同的采样率（例如 16kHz），否则后续对齐会出问题。验证样本数量时，至少准备 10-20 条不参与训练的样本，用来观察生成结果是否过拟合。

训练脚本：从全量微调到 LoRA

如果数据量不大，优先尝试 LoRA 而不是全量微调。下面是一个通用的训练循环骨架，你可以替换成自己的数据加载和优化器配置：

# 伪代码，实际实现需依赖具体模型库
from transformers import AVFModel, AVFProcessor
import torch

model = AVFModel.from_pretrained("pretrained-avf")
for param in model.vision_encoder.parameters():
    param.requires_grad = False
for param in model.audio_encoder.parameters():
    param.requires_grad = False

# 只训练融合层和语言头，或使用 peft 库配置 LoRA
from peft import LoraConfig, get_peft_model
lora_config = LoraConfig(
    r=8,
    lora_alpha=16,
    target_modules=["cross_attn.q_proj", "cross_attn.v_proj"],
)
model = get_peft_model(model, lora_config)

optimizer = torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-5)

for batch in dataloader:
    video_tensors = batch["videos"]
    audio_tensors = batch["audios"]
    input_ids = batch["input_ids"]
    labels = batch["labels"]

    outputs = model(video_tensors=video_tensors, audio_tensors=audio_tensors, input_ids=input_ids, labels=labels)
    loss = outputs.loss
    loss.backward()
    optimizer.step()
    optimizer.zero_grad()

运行前，先确认 batch 内的视频帧数一致。如果数据集中视频长短不一，需要按固定帧数截取或补零。建议先在小规模数据（比如 2 个 batch）上跑通前向和反向，确认维度匹配后再开始正式训练。

验证方式：不光看 loss，还要看模态联动

训练完成后，用新的视频和音频样本测试。可以对比两组输入：同一段视频配上不同音频，看模型回答是否会变化；或者同一音频配上不同视频。如果回答完全不变，说明其中一个模态没有起到作用，很可能是数据对齐有问题或编码器被过度冻结。另一个快速验证方法是检查交叉注意力层的权重统计，如果数值稀疏，可能需要调整损失权重或增加训练步数。

保存模型时，如果用了 LoRA 或微调了部分层，只需要保存对应的权重和配置文件。推理时再加载基座模型，这样便于复用不同的微调结果。

常见问题

自定义数据需要多少条才能生效？

没有绝对阈值。如果是简单描述任务，几百条可能就能看到效果；如果是复杂推理或时间定位，可能需要上万条。可以先从 500 条开始，看验证集 loss 是否持续下降，再决定是否增加数据。

视频和音频时长不一致怎么办？

训练时统一裁剪或缩放。视频抽帧数量要与音频特征的帧数对齐，通常的做法是：从视频按每秒 4 帧抽样，音频特征也按每秒对应数量的帧来提取，然后进入相同的时间轴。

显存不足时应该怎么调整？

优先降低批量大小，或降低视频帧空间分辨率。也可以尝试混合精度训练。如果仍然不足，可以冻结更多层，比如将视觉和音频编码器都转为半精度，并只训练 LoRA 参数。