多模态输入分辨率对悟界·RoboBrain Orca这类世界模型的影响，并不只是“图越大看得越清”。分辨率改变的是视觉编码器接收到的空间尺度，它会在感知编码、模态融合和后续状态预测中逐级放大或衰减信号。要判断你的场景是否值得调分辨率，需要同时看模型结构、部署资源和可观测的质量瓶颈。
多模态输入分辨率主要作用于感知编码和模态融合阶段，对世界模型下游预测质量的影响是间接的。提升分辨率能保留更多空间信息，但需同步检查数据分布、计算预算和融合机制。建议先用同一组样本做 0.5x/1x/2x 三档对比，以质量瓶颈为准决定是否上调，而不是一味追高。
分辨率在哪里牵动世界模型性能
世界模型通常把多模态输入压缩为隐状态，并用于推演未来或规划动作。视觉分辨率先决定视觉token数量或特征图尺寸，进而影响注意力计算和跨模态融合权重。在低分辨率下，小物体、边缘纹理和相对位置信息容易被池化层丢弃，状态估计可能出现混叠；在高分辨率下，模型能拿到更多细节，但也会引入背景噪声和多余token。如果位置编码或分辨率适配层没有覆盖到目标尺寸，训练和推理之间还会产生分布漂移。
取舍判断：先明确瓶颈在感知还是在预测
如果你遇到的问题是小目标漏检、边界偏移、动作执行时抓取点偏移，低分辨率优先怀疑。这类场景适合调高输入分辨率，但操作时应当保持原始画面比例，用填充或裁剪配合，而不是直接拉伸。如果问题表现为交互能力不足、长时序预测误差累积，那么修改分辨率大概率不是主路径，重点应当放在时序建模和状态记忆策略上。一个可参考的流程是：先固定现有分辨率做一次错误样本分类，统计多大比例的错误与空间细节有关；低于阈值就不必动分辨率。
另外需要明确部署边界：分辨率提高后，视觉编码器耗时和显存占用通常同步上升，但世界模型后半部分的规划或预测模块可能成为新瓶颈。建议先为每档分辨率记录单步总耗时和显存峰值，观察耗时增量是否集中在视觉端。如果视觉端耗时小幅增加，而总耗时增加明显，说明问题在模型内部没有对齐，而不是单纯吃显存。
验证分辨率影响的测量计划
建议不要凭观感决定分辨率，而是做一次受控对比。步骤如下：
- 从原始采集数据中随机抽一批样本，固定模型权重和随机种子。
- 将相同原图分别缩放到三档相对尺寸，例如当前基线的 0.5x、1x、2x，同时记录缩放算法和填充方式。
- 依次运行评测，记录每个样本的世界模型预测误差、隐状态重建距离、单步推理耗时和显存占用。
- 对每个指标排序，观察分辨率变化后哪些样本的误差下降、哪些反而上升，重点检查失效样本是否集中出现。
验证清单
- 固定模型权重、推理框架线程数、批大小，排除硬件波动。
- 统一从原始高分辨率图缩放，而不是使用不同来源的多个分辨率版本。
- 检查位置编码或分辨率适配层是否覆盖目标尺寸。
- 重复运行三次，取中位数，避免单次波动。
- 额外保存每个样本的隐状态向量，用分布距离检查是否发生严重漂移。
可复用的实验配置样例
如果你的系统支持外部配置，可以按下面的骨架设置实验。它强调保持数据源一致、插值方式一致，只切换分辨率字段。
{
"task": "multimodal_world_model_eval",
"input": {
"resize_mode": "relative_scale",
"scale": 1.0,
"interpolation": "bilinear",
"keep_aspect_ratio": true
},
"eval": {
"metric_list": ["pred_error", "state_distance", "latency_ms", "memory_mb"],
"random_seed": "fixed",
"sample_list": "same_for_all_scales"
}
}如果你没有实验配置入口，也可以把配置里的三个档位直接换成小、中、大三个预处理分支，放在模型输入前端进行切换。关键是保持同一份评测数据，不要额外做数据增强。
常见问题
调高分辨率之后模型预测反而变差，是什么原因？ 先检查位置编码和patch化方式是否支持新尺寸。很多视觉transformer对非训练分辨率敏感；另外，过高的分辨率可能引入原图中无关背景，导致融合模态时注意力权重偏移。建议先看隐状态分布，如果分布差异大，则需要做短时微调或增加分辨率适配层。
分辨率是否必须和训练时保持一致？ 通常是的。如果预训练阶段使用固定小分辨率，推理时直接调大，模型没有学习过该尺度的局部平移等规律，性能大概率下降。需要提升分辨率时，建议用原有数据先做低强度微调，再评测。