本地用 R2T2 做实时字幕，延迟和显存并不是两个互不相干的旋钮：压延迟的动作常常会抬高显存占用，省显存又容易让出字变慢。比较稳妥的判断顺序是：先固定一个能跑通的配置，量出声到出字的实际间隔和显存峰值，再决定先压哪一头。显存刚好够用时，把延迟调到可接受就收手；显存已经吃紧甚至溢出时，先降显存到不崩，再在剩余空间里微调延迟。下面列的可调项都能通过日志、命令或页面行为观察到变化，观察不到变化的调参不值得做。

本地实时字幕的取舍顺序建议是：先跑通一个能连续出字的配置，记录出声到出字的间隔与进程显存峰值，再动手调。显存够用时，只把音频分块和等待窗口调到延迟可接受就收手；显存不够时，先减小块，再换小规格模型文件，然后限制并发路数，最后才退回整段识别。所有改动都要在同一段音频上复测。这套判断适用于单机单卡、路数不多的场景，多路并发需要重新量一遍。

先量出当前环境从出声到出字的时间和显存峰值

先建基线。没有基线，后面每次改动都只能凭感觉判断，很容易把“本来就这样”当成优化效果。

显存查询：单卡机器直接看 nvidia-smi 的 Memory-Usage 行即可。要抓峰值，用 nvidia-smi `--query-gpu`=memory.used,memory.total `--format`=csv -lms 100 把采样间隔压到 100 毫秒，输出重定向到文件，跑完后取最大值。这里看到的是整卡占用，包含其他进程，最好在空载机器上测；如果做不到，用 nvidia-smi `--query-compute-apps`=pid,used_memory `--format`=csv 单独看目标进程。

出声到出字计时：准备一段起点明确的音频，比如先说一声“开始”再接一段话。播放开始和音频进入模型这两个时刻要能对上。简单做法是在结果输出回调里打印 time.time()，播放侧同时打印起始时间戳，两者相减。想排除播放器缓冲影响，可以用扬声器外放、麦克风采集，把整条链路都算进去，代价是每次测量要保证音量、距离一致，否则数值会漂。

每次只记实测值：显存峰值、首字出现时间、稳定出字后的平均间隔。不要拿别人的数字当参照，显卡型号、驱动版本、精度选项不同，数值不具备可比性。

把音频分块调小，延迟与显存是否一起变化

分块长度是最先值得动的旋钮，但它对两项指标不是单向影响，改之前先想清楚观察哪个量。

档位取值：先看仓库支持的帧长或步长，常见的是 20ms、40ms、80ms、160ms、320ms 这几档，按实际支持取，不要填不支持的值。

改一档测一次：改完分块长度后，采样率、声道数、模型文件、精度选项、并发路数、推理线程数全部保持不动，只重跑同一段音频，记录首字时间和显存峰值。一次改两处，出问题就分不清是谁造成的。

一种典型情况是：块变小，首字来得更早，但单位时间内的推理调用次数增加，显存和计算占用跟着上去；块变大到某个程度后，延迟主要由块长本身决定，后面的参数怎么调也压不下去。所以实际判断是：把块长一档一档往上加，找到首字时间仍在可接受范围内的最大值，然后停在那里，不要再为了省一点显存把延迟拖长。

换用不同规格的模型文件后，占用与识别表现的取舍

显存不够时，换更小规格的模型文件通常比继续折腾分块更直接，代价落在识别质量上。

做法是固定同一段音频、同一分块长度、同一精度选项，只替换模型文件，逐个记录三类信息：显存侧记峰值，延迟侧记首字时间和稳定出字间隔，质量侧要落到具体差异上——数字、专有名词、人名地名是否出错，句子中间有没有漏字，标点是否合理，时间戳是否明显偏移。

不要急着下“哪个一定更好”的结论。语速慢、词汇常见的素材，小规格输出往往够用；术语密集、口音较重的素材，小规格可能把关键词听错，这时宁可接受更高显存也不能降。判断标准是这条字幕给谁看、听错之后的代价有多大，而不是参数量大小。

一段最小启动配置骨架与跑通验证

下面是通用接入骨架，接口名和参数都要按你实际用的仓库文档替换，它只负责说明三处占位放什么。

# 通用骨架，占位符按实际仓库文档替换
import r2t2_runtime  # 包名/模块名以实际仓库为准

# 1. 音频输入：设备、采样率、块长都在这里定
audio_in = open_audio_stream(
    source='mic',          # 或 'file'
    sample_rate=16000,
    chunk_ms=80,
)

# 2. 模型文件位置：换规格只改这个路径和对应精度
t2t = r2t2_runtime.load_model(
    path='/path/to/model_files',
    device='cuda',
    dtype='fp16',
)

while True:
    chunk = audio_in.read(80)
    if not chunk:
        break
    # 3. 结果输出：流式接口名以实际文档为准
    result = t2t.transcribe(chunk)
    print(time.time(), result.text)  # 打点，便于算首字时间

三处占位分别是音频输入（设备或文件、采样率、块长）、模型文件位置（路径与精度）、结果输出（打印或推送的目标）。跑起来之前先确认路径存在、设备可用，再播放一段连续说话的音频。验证点只有一个：跑通后能连续出字。如果中间整段卡住不动、只在音频播完后才吐一次结果，说明走的是整段识别而不是流式，回退查分块和流式接口的用法。同时另开一个终端看显存，确认它不会随着时间持续上涨。

显存不足时的降级顺序

把取舍变成固定步骤，遇到显存告警就按顺序往下走，不要跳步：

1. 减小块。改动可逆、不动模型文件、对识别质量影响最小，先小幅下调一档，重测显存峰值和首字时间，够用就停。
2. 换更小规格的模型文件。这一步开始影响识别质量，所以放在分块之后；换完必须用同一段音频比对错字漏字，而不是只看显存降没降。
3. 限制同时任务数或并发路数。这是对功能砍一刀，会牺牲吞吐，只有在单路本身已占用偏高的前提下才做。
4. 退回整段识别。等于放弃实时字幕的语义，只作为保底，出字延迟不再是流式意义上的延迟，只适合离线转写场景。

这四步的共同点是每一步都能被复测：显存看命令行峰值，延迟看自己打的时间戳，识别质量看同一段音频的输出差异。任何一步改动之后没有重测，就不要在同一轮里继续往下走。