Audio-Visual Flamingo 同时处理音频、视觉和文本，调参前先判断当前是在做推理还是微调。推理阶段主要关注解码参数，微调阶段则要调整优化器、学习率和模态编码器的冻结策略，两者不能共用一套做法。

调整 Audio-Visual Flamingo 参数的关键是分清阶段：推理调解码参数，微调调训练参数。建议每次只改一个变量，用固定验证集对比损失和生成结果；涉及长音频或长视频时，先检查帧数、采样率和上下文长度是否溢出，再谈其他参数。

推理：从解码参数开始

解码参数直接影响生成文本与音频、视觉内容的对齐。比较常见的手法是把 temperature 和 top_p 分开调整。需要输出稳定、事实性强的内容时，把 temperature 调低；需要多版本候选时，再适当调高。top_p 则用来过滤掉模型概率分布尾部的低质量词，通常和 temperature 配合使用，而不是两个同时推到极端。

# 以常见多模态推理接口为例
generate(
    input=[audio, video, text],
    temperature=0.4,
    top_p=0.8,
    num_beams=1,
    repetition_penalty=1.1
)

beam search 在多模态场景下容易让输出重复，因为音频和视频特征带来的条件信号比纯文本更强，过大的 beam 会强化最高频片段。建议从 num_beams=1 开始，只在线索明确的任务（如视频描述）里增加 beam 数，同时配合 repetition_penalty。repetition_penalty 大于 1.0 时能压低重复词，但值太高会让句子中断或丢内容。

微调：学习率与冻结策略

微调 Audio-Visual Flamingo 时，音频和视觉编码器通常已经经过大规模预训练，建议一开始冻结部分编码器，只训练跨模态融合层和文本解码层。等到训练集上的损失持续下降且输出稳定，再尝试解冻一个模态编码器，使用更低的学习率慢慢适配。

学习率建议比微调纯文本模型时更保守，量级低一到两个数量级是常见做法。同时用梯度裁剪和较小的 batch size，避免单条长音频或长视频把显存占满。

输入采样与上下文长度

Audio-Visual Flamingo 的输入同时有音频波形、视频帧和文本，参数调整不只发生在生成端。视频帧数、音频采样率、时间戳对齐方式和 max_length 会直接影响模型能否看到完整信息。帧数太多会占用大量显存，帧数太少又会漏掉关键动作；采样率过高时音频特征被拉伸，过低又会丢失细节。建议先用模型默认配置跑通一条样本，观察显存占用和输出长度，再逐步增加帧数或采样率。

max_length 要覆盖输入文本和生成文段，同时留出模型内部注意力计算的空间。如果输入音频视频较长，生成时又用 beam search，很容易超限，这时不要额外调大温度，而是先缩短输入段或做分段摘要。

用固定验证集判断参数好坏

多模态模型的验证不能只看 loss 曲线，因为 loss 下降可能来自文本重复或忽略某一模态。建议准备一组固定的音频-视频-文本样例，每次调整参数后同时跑一遍，对比生成结果里是否包含与音频或视觉内容一致的实体和事件。

• 每次只修改一个参数，固定其他参数，避免互相掩盖。
• 同一组输入至少生成 3-5 次，观察输出的稳定性和差异范围。
• 记录显存占用、生成时间和输出长度，作为资源边界。
• 如果输出频繁出现与输入无关的内容，说明解码温度或 beam 设置过高，或输入采样遗漏了关键片段。

在探索阶段，可以先用较小的 max_length 和低分辨率视频帧跑通流程，再逐步加量。这样能更快定位是参数问题还是输入数据问题。