拿到悟界·RoboBrain Orca 这类多模态模型后直接全量跑，一旦效果不对，很难判断问题出在数据加载、配置参数，还是任务定义本身。可行的做法是把变量拆开逐个验证：先把各模态输入对齐，压到最小样本跑通一次前向，确认表征随输入变化，再引入时序窗口，最后才按批次放大数据量。每一步都要有明确的退出条件和可复核的运行记录，否则后面的现象无法回溯到具体改动。

建议按「单样本对齐 → 最小前向 → 表征随输入变化 → 时序窗口敏感 → 批量放大」的顺序试跑。每一步都保留运行记录与配置快照，上一步的输出不符合预期就不进入下一步。这套流程只能排除数据加载、输入对齐和计算图接入类错误，不能证明模型效果好坏；真正的效果评估需要另设任务和评测口径，并需要结合具体环境确认。

先用单条样本确认各模态输入能同时读入且时间戳一致

这一步不追求跑出结果，目的是先把数据侧的初级错误排掉。这类模型通常同时接收视觉、语言指令和本体状态/动作序列，任意一路读错、维度错位或时间戳对不上，后续观察到的现象都会被污染，排查成本成倍上升。

单样本记录建议至少覆盖这些字段：图像或视频帧的来源与张量形状、采样帧率、指令文本原文、状态/动作序列的长度与量纲，以及每个模态自带的时间戳字段。若数据里没有显式时间戳，就记录采集顺序索引，并在笔记里写清这是索引而不是时间。

# 通用读取骨架，函数名需要替换成实际数据管道的接口
sample = loader.read(index=0)
for name in ["vision", "text", "state"]:
    v = sample[name]
    shape = getattr(v, "shape", None)
    ts = sample.get(f"{name}_timestamp")
    print(name, "shape=", shape, "ts=", ts, "dtype=", getattr(v, "dtype", None))

时间戳核对方式：把三路时间戳按统一时基打印出来，通常用秒或毫秒，具体以数据集定义为准；再看首尾值与相邻间隔是否单调、是否落在同一区间。如果一路是递增索引、另一路是绝对时间，说明对齐逻辑还没真正落地，此时应先把对齐函数补上再往下走。

退出条件：三路模态能在同一次读取中同时返回，shape 与配置声明一致，时间戳能按最近邻或按固定偏移匹配上，并把这些原始值抄进运行记录。

把样本量控制在最小可跑规模，记录一次完整前向的输出形状

最小规模通常指 batch 设成 1、时间窗口取配置允许的下限、只做前向不做反向。这样一次调用代价最低，报错信息也最容易读。前向调用骨架可以写成下面这样，具体接口名需要按仓库实际情况替换。

# 通用前向骨架，仅示意调用顺序
model.eval()
with torch.no_grad():
    out = model(
        vision=inputs["vision"],
        text=inputs["text"],
        state=inputs["state"],
    )
print(type(out))
if isinstance(out, dict):
    for k, v in out.items():
        print(k, getattr(v, "shape", type(v)))
else:
    print(getattr(out, "shape", type(out)))

输出形状记录不只是打印一行，建议把每个返回项的名字、shape、dtype 一起写进运行日志或笔记：表征张量是 (B, T, D) 还是 (B, D)，是否额外返回注意力掩码或时间嵌入，这些都会影响后面几步的判断。若返回结构是 dict，逐个 key 打印，不要只看最外层类型。

退出条件：一次前向无异常抛出，输出形状与配置文件或代码注释里声明的维度一致，且记录已落盘。

检查表征输出是否随输入变化而变化

跑通不代表输入真的进了计算图。常见情况是模型正常返回，但换一批输入后输出完全相同，说明某一路模态可能被预处理抹平、被缓存复用，或者压根没接进前向路径。

做法是准备两组不同输入：形状保持一致，只改内容，例如换一帧图像、换一句指令、或把状态序列整体平移。保持随机种子和配置不变，分别跑一次前向，然后比较表征张量。对比方法可以先看逐元素差的最大绝对值和余弦相似度，也可以直接打印前若干个数并排看；如果两组结果逐位相同，基本可以判定输入没进入计算。

无变化时的排查点：数据管道是否缓存了上一份样本；归一化或填充是否把差异压成了同一个常量；模态拼接顺序是否写错导致某一路被丢弃；是否存在只走固定分支的开关条件。逐条验证，不要同时改多个点。

退出条件：两组输入产出的表征存在可观测差异，且差异出现在预期的模态相关维度上。

加入时序窗口变化后复跑，观察表征是否对时间结构敏感

窗口参数指输入时间长度 T，也就是一次喂入多少帧或多少个状态步。建议从配置最小值和默认值各取一个，再取一个更长的值，其他条件保持不变，用同一组输入分别复跑。

对照结果看的是趋势：改变 T 之后表征是否随之变化。若 T 从短到长变动时表征完全不动，通常意味着时序信息没有被使用——可能是位置编码或时间嵌入没接上，也可能是窗口维在某个 reshape 或 squeeze 处被压掉了。敏感性判断方式不要求某个固定数值，只要求「改变 T 后表征确实变化，且变化幅度随 T 偏离基准而增大」这一趋势可观测。若两边持平，回到上一步重新排查表征是否真的随输入变化。

退出条件：窗口长度变化能稳定引起表征变化，并且这种变化在重复运行时方向一致。

以上都通过后再按批次放大数据量，并保留每一步的配置快照

放大批次时建议只动一个维度：先把 batch 从 1 提到较小值，稳定后再提时间窗口或序列长度，不要同时改分辨率和数据量。每次放大后复跑几轮，确认输出形状和显存占用没有异常跳变。

配置快照是后面能追溯的前提，建议每次试跑存一份，内容至少包括：随机种子、batch、时间窗口长度、采样率或分辨率、模型权重路径与版本标识、预处理参数、关键依赖版本、完整启动命令。可以用一个简单的结构化文件承载。

# 配置快照模板，字段按实际项目增删
run_id: orca-tryrun-003
parent_run: orca-tryrun-002
seed: 0
batch: 1
time_window: 8
sample_rate: 10
model_weight: /path/to/weights
preprocess: { resize: [224, 224], normalize: true }
cmd: "python run_forward.py `--config` cfg/tryrun003.yaml"

回退方式：快照按 run_id 顺序编号，出问题时回到上一份快照重跑同一组输入，确认现象是否复现。能复现说明是改动引入的，不能复现则先怀疑环境或依赖差异。这样每一步变更都有对应记录，效果不好时才分得清是数据、配置还是任务定义的问题。