UnifoLM-OminiA-0.3 这类全模态模型把图像和语音放进同一次推理时，输出不对很少是单一原因。实际排查里，先把图像与语音是否指向同一个对象、同一时间窗核对清楚，再拿同一任务的干净输入和错位输入各跑一遍，通常比直接换模型更快定位问题；只有输入侧排除干净之后，才值得讨论模型本身的跨模态理解能力。这套动作不改模型、不重训，靠配置文件、落盘文件和日志就能完成。

全模态理解结果不对时，建议优先怀疑输入对齐：先确认图像帧、音频片段、提示词指向同一对象和同一时间窗，再用干净输入与错位输入两组对照，看输出是否随错位稳定变化。错位稳定改变输出，问题偏向输入侧；两路输入都干净而输出仍缺某一路线索，再查模型侧的解码参数与版本。边界在于单次推理的可复现样本，长会话和流式输入的时间窗需要另行确认。

先检查图像和语音是否指向同一个对象或场景

这一节的目的是排除“输入本身就不一致”的低级情况。全模态任务的输入往往由多个来源拼装：图像可能是视频抽帧，语音可能是另起一段录音，提示词又可能是人工补写的。三者对不上时，模型给出的答案再合理也是错的，此时换模型不会改善任何东西。

建议按下面的检查项过一遍，每项都能通过文件、配置或日志确认，不需要猜测：

• 时间窗：图像帧的时间戳是否落在音频片段的时间范围内，跨段拼接时两个时间轴是否用了同一基准。
• 对象一致性：画面里的主体和语音里提到的主体是否同一个；多主体场景下，提示词指的是哪一个。
• 音频自身：声道是否选对，采样率是否被重采样过，片段是否被截断导致语义不完整，是否混入明显背景音。
• 图像自身：抽的是首帧还是关键帧，是否被过度压缩、裁切，图中文字是否还能看清。
• 字段与顺序：image、audio、text 的字段名与顺序是否和实际接入配置一致，是否出现图像传了、音频空值但未报错的情况。
• 提示词可答性：问题所问的信息是否真的存在于输入中，而不是模型应当“知道”的常识。

通用判断方法是：把每一路输入单独落盘，先用人眼和人耳各过一遍，确认单路本身没问题；再把两路放进同一时间窗对齐，看是否指向同一事件。落盘这一步很关键，后续所有对照实验都依赖这些固定的输入文件。

把同一任务的干净输入和错位输入各跑一遍

目的是看错位是否稳定改变输出。做法是构造两组输入，只改一处，其余全部保持不变：

• A 组（干净输入）：图像与语音取自同一场景同一时间段，提示词描述该场景中的问题。
• B 组（错位输入）：把语音换成另一个场景的片段，图像和提示词不动；或者反过来只换图像。

建议做三次：只换音频、只换图像、两者都换。这样能看出模型对哪一路更敏感，也避免一次改两处导致归因不清。

需要控制的变量包括：同一提示词原文、同一解码参数（如温度、top_p、最大输出长度、随机种子）、同一运行环境与模型版本、同一次会话内连续跑。记录字段建议固定成一张表，长期累积后比单次观察可靠：

除输出原文，还要记录：输入文件标识与内容特征（如文件大小、时长、帧数）、提示词全文、解码参数快照、耗时、是否报错或截断。输入对齐校验可以用一段通用骨架先跑通，字段名按实际接入配置替换，放在本地脚本里执行：

{
  "task": "multimodal_understand",
  "inputs": {
    "image": {"path": "frame.png", "ts_ms": 12000},
    "audio": {"path": "clip.wav", "ts_start_ms": 12000, "ts_end_ms": 15000},
    "text": "画面中的人说了什么"
  },
  "checks": ["时间窗重叠", "对象一致", "字段名与配置一致", "音频非空"]
}

验证方式是：若 B 组输出随错位稳定偏离 A 组，说明模型确实在同一次推理里用了两路信息，问题大概率在输入对齐；若 B 组输出与 A 组几乎无差别，则要怀疑某一路输入根本没有生效。

在输出里分别找图像线索和语音线索的使用痕迹

目的是判断哪一路输入没有被理解。方法不是看输出“像不像”，而是设计只可能由某一路回答的问题，再去输出里找对应的线索痕迹。

• 图像探针：只存在于画面中的细节，例如颜色、数量、相对位置、图中文字、物体朝向。这类信息从语音里推不出来。
• 语音探针：只存在于音频中的细节，例如说出的具体词、数字、语气、停顿。这类信息从画面里看不出来。
• 交叉探针：需要两路共同才能答对的问题，例如“画面里正在说话的人提到了哪个数字”，用来验证是否真的做了融合。

观察点按模态拆开记录：输出里是否出现画面特有的属性词、是否复述了音频里的原词、是否出现把两路信息混淆的表述（例如把声音描述成画面内容）。要留意模型可能靠语言先验猜对，所以探针问题应选“不可猜”的细节，并在提示词里避免泄漏答案。

把排查顺序写成先输入后模型的分流表

把上面的动作固化成一张表，遇到新的坏样本按顺序走一遍，可以避免一上来就怀疑模型能力。每一步都对应一个可执行的验证动作，不通过就停在该步。

走到第 4 步仍无法定位时，建议把以下记录项打包留档：模型版本与权重标识、推理配置文件、完整提示词、解码参数快照、每路输入文件及其特征、原始输出与日志中输入预处理相关行、最小可复现样本（干净与错位各一组）。这些记录能让后续任何人从同一状态重跑，而不用靠回忆复述现象。