处理长视频输入时，RoboBrain Orca 这类多模态模型通常不能把整段视频一次性读入，显存和上下文长度都会成为瓶颈。可行的做法是把视频按场景或固定时长切成片段，逐段提取特征向量，再按时间顺序拼接成完整的视频表征。这样既能控制单次计算的资源占用，也能在查询时保留时间定位能力。分片的关键在于：切分单位要匹配视频内容密度，片段之间要有重叠，拼接时要处理边界权重，并且每一步都要保存全局时间戳，否则后续检索就找不到准确位置。

判断方向：长视频分片应以“片段可单独处理、边界不丢失关键内容”为前提。实际操作时，先用 ffprobe 读取时长、帧率、分辨率，确定单片段时长和切片方式；再用 ffmpeg 按固定时长或场景切换生成带重叠的视频片段；随后逐段提取特征并记录 start_time 和 end_time；最后拼接特征向量时需对重叠区做平均或加权处理，并用文本 query 验证命中时间戳是否合理。风险边界在于模型本身不一定具备长时序推理能力，分片只是规避输入长度限制，不能保证跨片段语义关联。

先用 ffprobe 获取视频元数据

在确定切分方案前，先读取视频的元数据。RoboBrain Orca 的输入管线通常需要知道视频的时长、帧率和分辨率，这些信息决定了单片段选择多少秒、按关键帧还是按固定时间切。建议在预处理阶段统一用 ffprobe 输出 JSON，便于程序解析。

ffprobe -v error -show_format -show_streams -of json input.mp4

关键字段：format.duration 给出总时长（秒），streams[].codec_type=video 的 avg_frame_rate 或 r_frame_rate 表示帧率，width 和 height 表示分辨率。另外，nb_frames 有时缺失，此时可用 duration × 帧率估算总帧数。拿到这些值后，先判断视频是否真的超过单次处理上限。如果只是十几秒的短视频，分片反而会引入边界误差，不如直接整体处理。

按固定时长或场景切换进行切分

切分方式有两种：固定时长切片最简单，适合内容节奏均匀的录屏、监控或讲座；场景切换切片适合剪辑频繁的影视或 vlog。固定时长建议先选一个保守的基线，例如 5 到 10 秒一段，片段之间重叠 1 到 2 秒，避免动作或语音刚好被切断。

ffmpeg -i input.mp4 -c copy -map 0 -segment_time 10 -segment_time_delta 2 -segment_list segments.txt -f segment segment_%03d.mp4

-segment_time 是每段目标时长，-segment_time_delta 是相邻片段的起始时间偏移，这里设置 2 秒表示下一段会比上一段结尾提前 2 秒开始，形成重叠。若按场景切换，可用 ffmpeg 的 select='gt(scene,0.3)' 提取场景变化点，再按变化点切分，但需要后续脚本把切割点转为片段区间。无论哪种方式，切分后都要检查生成片段的起始时间和原视频时间轴是否有偏移，建议保留原始时间信息，避免只靠文件名序号定位。

逐段提取特征并记录时间戳

将视频片段逐段送入 RoboBrain Orca 的视觉编码接口，获取每个片段的特征向量。由于不同版本接入方式可能不同，下面给出通用接入骨架，重点在于保存每个片段的 start_time 与 end_time。建议使用 JSONLines 格式记录，既方便追加，也便于后续和特征向量一一对应。

import json, subprocess
import numpy as np

def extract_features(video_path, model_api):
    # model_api 为实际模型封装，返回向量或直接返回文本表征
    return model_api.encode_video(video_path)

segments = [
    {"file": "segment_000.mp4", "start": 0.0, "end": 10.0},
    {"file": "segment_001.mp4", "start": 8.0, "end": 18.0},
]

with open("features.jsonl", "w") as f:
    for seg in segments:
        vec = extract_features(seg["file"], model_api)
        record = {
            "start_time": seg["start"],
            "end_time": seg["end"],
            "feature": vec.tolist() if hasattr(vec, "tolist") else vec,
        }
        f.write(json.dumps(record) + "\n")

这里的 model_api.encode_video 需要替换成实际可用的接口。保存特征时，还要留意模型是否对输入分辨率或帧率有要求，如果片段分辨率过高，可在送入模型前做缩放或抽帧。时间戳建议使用浮点数秒，不要用帧号，因为后续拼接和检索都基于秒。

拼接特征向量并处理重叠区边界

逐段特征需要按时间顺序拼接成完整序列。重叠区域如果直接覆盖，会让同一段内容出现两倍权重，影响后续检索或分类。通常的做法是：非重叠部分直接保留，重叠部分取两个片段的平均，或者按时间距离做线性加权，越靠近谁的区间权重越高。下面给出一种基于时间权重的拼接实现。

import json
import numpy as np

records = [json.loads(line) for line in open("features.jsonl")]
records.sort(key=lambda r: r["start_time"])

# 假设特征都是相同维度
feat_dim = len(records[0]["feature"])
segments_info = []

for rec in records:
    vec = np.array(rec["feature"])
    segments_info.append((rec["start_time"], rec["end_time"], vec))

# 合并重叠区间（简化版本：先找最小开始和最大结束）
total_start = min(s for s, e, v in segments_info)
total_end = max(e for s, e, v in segments_info)

# 按每个时间点累加权重与特征值
weights = np.zeros(total_end - total_start + 1)
agg = np.zeros((total_end - total_start + 1, feat_dim))

for s, e, vec in segments_info:
    for t in range(int(s), int(e)):
        idx = t - int(total_start)
        # 重叠区权重：线性衰减，片段中点权重最高
        mid = (s + e) / 2
        w = 1.0 / (1.0 + abs(t - mid))
        agg[idx] += vec * w
        weights[idx] += w

combined = agg / weights[:, None]
print(combined.shape)

如果模型本身输出的是 token 序列而不是固定向量，拼接时需要按时间顺序合并 token，并给每个 token 补上对应的时间位置。这里展示的是向量拼接，更适合检索类任务。对于要输入给下游时序模型的场景，拼接后还要保持维度一致，若维度不齐先做线性映射或 padding。

验证多段匹配的查询效果

分片和拼接是否有效，最终要用查询来验证。准备一段测试视频和一个文本 query，例如“视频里有人伸手拿起杯子”。先将测试视频同样切分并提取特征，然后用文本编码器得到 query 向量，与拼接后的特征序列做相似度匹配，打印命中的时间戳。如果命中位置和实际场景位置一致，说明特征对齐；如果偏差较大，需要检查重叠权重或时间戳是否有误。

from sklearn.metrics.pairwise import cosine_similarity

def search_video(query_vec, combined_features, timestamps):
    scores = cosine_similarity(query_vec.reshape(1, -1), combined_features)[0]
    best_idx = int(np.argmax(scores))
    return timestamps[best_idx], scores[best_idx]

# 假设 query_vec 由文本模型得到，timestamps 为每个时间点对应的秒数
query_vec = np.random.randn(512)  # 替换为真实文本向量
timestamps = np.arange(total_start, total_end, 1.0)
hit_ts, score = search_video(query_vec, combined, timestamps)
print(f"命中时间: {hit_ts}, 相似度: {score:.3f}")

如果每次查询结果都不稳定，优先检查片段切分时是否漏掉了关键帧；如果命中时间总是落在重叠区，可以调整重叠权重，或者减少重叠时长。注意，分片策略本身只能解决输入长度问题，RoboBrain Orca 是否具备跨片段的时序理解还需要单独验证，不要假设拼接后的特征天然保留顺序关系。建议在正式使用前，用 3 到 5 个已知时间点的测试片段做一轮完整验证，确认流程可复现。