把 LingBot-Depth 2.0 这类单目深度估计模型接入 AR 应用时，工程量通常不在模型调用，而在深度图与渲染管线的对齐。实时深度获取需要先回答三个问题：深度图与彩色图像是否来自同一时刻、深度图是否携带与渲染一致的相机内参、单帧推理是否在帧预算内完成。这三个环节决定叠加的虚拟物体是否会漂移、错边或掉帧。
LingBot-Depth 2.0 能否用于实时 AR，取决于三件事：深度输出必须和 RGB 帧时间戳绑定，深度图内参必须与相机矩阵换算一致，单帧推理耗时至少要被压到渲染帧预算以内。建议先在离线录屏数据上完成内参核对和逐帧验证，再接入实时管线，不要跳过对齐直接渲染叠加。
1. 深度数据与 AR 坐标系的对齐
深度模型输出的是二维深度图，AR 渲染依赖相机位姿和内参。两者不一致时，虚拟物体会错位。接入前需要逐项核对以下参数：深度图分辨率与 RGB 分辨率的比例；深度图尺寸是否经过裁剪或缩放，内参 fx、fy、cx、cy 是否已经对应到深度分辨率；深度值的单位是米还是归一化值；模型输入预处理方式（例如减均值除方差）是否与训练时一致；时间戳是否与对应相机帧绑定。
操作动作：先写一段离线脚本，将已保存的 RGB 图、深度图和同一帧的相机位姿叠成动画，静态观察贴合度，再在桌面机器上逐帧回放。风险边界：如果跳过这一步直接接入 AR 会话，深度错位会被误判为模型精度问题，实际可能是内参矩阵没用对。
2. 最小接入流程与通用骨架
以 Unity AR Foundation 为例，推理流程通常是：从 ARCameraFrame 获取 CPU 图像和相机内参，转成模型输入张量，推理得到深度图，再写入 RenderTexture 供 Shader 采样。下面是通用流程骨架，具体 API 名需要按你的 Unity 版本和平台修改：
void OnARCameraFrame(ARFrame frame) {
var rgb = frame.CaptureImage(); // 当前帧 RGB
var intrinsics = frame.Intrinsics; // 相机内参
long ts = frame.TimestampMilliseconds(); // 时间戳
Tensor input = Preprocess(rgb, model.InputSize);
Tensor depth = LingBotDepth2.Infer(input); // 输出 HxW
RenderTexture rt = CreateDepthTexture(depth);
Material.SetTexture('_DepthTex', rt);
Material.SetVector('_Intrinsics',
new Vector4(fx, fy, cx, cy));
Material.SetFloat('_TimeStamp', ts);
}需要特别处理的是：深度图分辨率如果低于 RGB，要用双线性上采样，但边缘会变平滑，最好配合边缘保留滤波。如果 CPU 和 GPU 都在忙，可以把推理放到后台线程，但必须在调用 GPU 前确认深度图已经同步回主线程。
3. 性能预算与质量验证清单
实时深度获取优先保障渲染帧率。建议先测量三类耗时：模型推理、深度图后处理、上传 GPU 的拷贝时间。如果总耗时超过帧预算，优先降低输入分辨率，其次改为隔帧推理并用时域滤波补差值，最后才考虑量化。这些做法是通用权衡，具体阈值需要结合目标设备实测。
验证覆盖四个场景：低纹理墙壁，检查深度是否空洞、跳跃；遮挡边缘，手持物体在镜头前移动，观察边缘贴合度；动态行人，观察深度是否滞后；光线强弱变化，确认是否闪烁。动作建议：先录制 AR 原生会话数据，在离线环境逐帧跑推理并输出误差图，确认没有明显跳变后再接入实时管线。
常见问题
深度图与画面错位，通常是什么原因？
先检查深度尺寸与内参是否匹配，再看模型输入是否经过翻转或旋转。很多模型要求 RGB 输入，而相机图像是 YUV，颜色格式不一致也会导致深度质量异常。
推理时间偏长，应该先降分辨率还是换模型？
建议先减模型输入尺寸，再手动隔帧推理并补帧，最后考虑量化。更换模型需要在同样场景重新验证精度，避免做无用功。
深度图全黑，常见怎么排查？
打印深度图直方图，看最小、最大和均值。全黑通常是输入归一化错误或深度范围未匹配，也可能是模型输出的有效范围被后处理直接清零。