同一场景反复失败时，判断顺序建议是：先把输入数据钉死，只改调用参数；再把调用参数钉死，换成同一场景不同时段的数据。两次对照里哪一次结果发生变化，原因就落在哪一侧。如果两组都没变化，不要急着归因，通常说明当前观测指标分辨不出差异，先把中间输出和日志补上，再回到对照。

同一场景连续失败，不建议同时改数据又改参数。通常先固定一份输入数据，逐个改调用参数并保留参数快照；再固定参数，换同一场景不同时段的数据。失败跟着参数走就查调用侧，跟着数据走就查数据侧。两组记录都没变化时，结论写未判定，先解决可观测性，再谈归因。

固定输入数据，只改调用参数，观察结果是否变化

这一步的目的只有一个：确认参数对结果到底有没有可观察影响。做法是选一份能稳定复现失败的输入数据，之后每一轮只动一个参数，其余全部保持原值，并把每次调用的参数快照落盘。参数名以你实际部署的推理入口为准，常见可动项包括输入分辨率或裁剪方式、时序窗口与抽帧数、动作步长或输出块长度、采样温度与 top-p、提示词模板、坐标与单位换算方式。结果无变化也要如实记录，因为「参数改了但输出一模一样」本身就是一条有用的证据，说明该参数在这条链路上没有生效或被下游覆盖。

# run_case.py —— 通用骨架，infer 与字段按你的推理入口替换
import json, hashlib, pathlib, datetime

def run_once(data_path, params, tag=""):
    key = json.dumps({"d": str(data_path), "p": params}, sort_keys=True, ensure_ascii=False)
    run_id = f"{tag or 'base'}_{datetime.datetime.now():%Y%m%dT%H%M%S}_" + hashlib.md5(key.encode()).hexdigest()[:8]
    out = pathlib.Path("runs") / run_id
    out.mkdir(parents=True, exist_ok=True)
    (out / "params.json").write_text(json.dumps(params, ensure_ascii=False, indent=2), encoding="utf-8")
    (out / "input_path.txt").write_text(str(data_path), encoding="utf-8")
    result = infer(data_path, params)          # 替换成你的调用
    (out / "result.json").write_text(json.dumps(result, ensure_ascii=False), encoding="utf-8")
    return run_id

如果 A1、A2 的输出与 A0 完全一致，先怀疑参数没真正传进推理流程，去确认配置加载顺序与覆盖关系，而不是继续加参数。

固定调用参数，换同一场景不同时段的数据

这一步是为了确认失败是否跟着数据走。调用参数沿用在上一组里表现最稳定的那份快照，不要中途再调。数据的差异要写清楚来源：采集时段、光照条件、物体摆放位置、相机或传感器是否换过、标定是否重做过。同一场景不同时段往往差在这些地方，而这些正是参数固定时唯一在变的东西。

逐次记录结果，不要只写「有时候失败」。如果失败只在某一类时段或某一类光照下出现，指向数据侧；如果换了几份数据都稳定失败，调用侧的可能性更大。

把两次对照的输入与输出存成文件逐帧比对

凭印象判断「两次失败是不是同一个失败」很容易出错。建议用固定命名规则把输入与输出成对存下来，命名里带上对照组、轮次与内容摘要，例如 A1_20240101T101500_ab12cd34/，目录内固定放 params.json、input_path.txt、frames/、output.json。比对时看的字段通常是：逐帧或逐步的输入标识、模型输出或动作值、置信度或分数、时间戳、失败标记。比对脚本按帧索引对齐，标出第一个出现差异的位置，也就是分叉点。

# compare_runs.py —— 通用骨架
import json, pathlib

def load(run):
    d = pathlib.Path("runs") / run
    return json.loads((d / "result.json").read_text(encoding="utf-8"))

a, b = load("A0_xxx"), load("A1_xxx")
for i, (x, y) in enumerate(zip(a["steps"], b["steps"])):
    if x != y:
        print("首个分叉帧:", i, "|", x, "|", y)
        break
else:
    print("逐帧一致，差异不在本次比对的字段上")

需要确认比对的是同一套字段名和同一个对齐方式，否则分叉点会出现在没有意义的位置。对照组之外的现象，比如别的场景偶尔出错，不要拿来当作本次判断依据。

按对照结果把原因归到数据侧或调用侧

归因时收敛到一处：下一次只改数据，或只改调用方式，不要两头同时动。写结论时附着至少两条对照记录，例如「B1、B2 在参数快照不变的情况下失败，A1 改参数后仍失败」，这样结论才站得住。只凭一轮、或者没有保存参数快照和输入路径的观察，结论一栏写未判定。

• 数据侧：参数固定，失败跟着时段、光照、位置、标定变化走 —— 下一轮改数据覆盖与采集条件。
• 调用侧：数据固定，改某个参数后结果出现可复现变化 —— 下一轮改这个参数的取值与传递路径。
• 未判定：两组对照都无变化，或缺少参数快照、输入路径、逐帧输出 —— 下一轮先补记录与中间输出，不急着改任何一端。

每一轮结束时，把「最终归因结论」和「下一轮要改的那一项」写成一行，跟上对应的 run 目录名，下一轮直接从那一个变量开始，避免重新回到同时改数据又改参数的状态。