离线T5模型在ONNX Runtime中手动实现beam search时,输出重复词通常源于解码循环里没有内置重复惩罚,而beam search本身又容易偏好重复的高概率分支。后处理过滤器属于生成完成后的补救措施,它不改变模型权重和解码过程,适合在模型不可修改、只允许替换输出层的场景下使用。判断方向:如果重复词以连续n-gram形式出现,用确定性过滤可以明显消除;如果是语义级重复,则需要调整温度或采样策略。
适用场景与过滤位置
这个方案适用于离线批处理,比如批量生成摘要或翻译,能接受多跑一次推理的代价。过滤器既可放在完整序列生成后,也可放在每一步解码后。前者实现简单,不影响beam搜索本身;后者能提前剪枝但需要每次step都做计算。这里只讨论最终候选序列上的过滤器。在接入前,先确认ONNX Runtime输出的格式:通常是一个形状为[batch_size, beam_size, seq_len]的token id张量,并且包含EOS token或pad token,需要先统一截断到每个序列的EOS位置。
重复n-gram检测与过滤实现
检测目标是找出同一序列里连续出现多次的n-gram。n取值建议先试3或4,n越小越激进,容易把正常重复也过滤掉;n越大越宽松,可能漏掉明显重复。下面是一个最小实现:
def has_repeated_ngram(token_ids, n=3):
seen = set()
for i in range(len(token_ids) - n + 1):
gram = tuple(token_ids[i:i+n])
if gram in seen:
return True
seen.add(gram)
return False使用时对每个beam结果调用该函数。如果返回True,可以直接丢弃该候选,也可以降低它的排名。由于beam size通常不大,比如4或6,直接过滤掉多余候选后,需要从剩余候选里补齐数量,或者重新归一化概率。最简单做法是保留所有未重复的候选,如果全部重复,则保留重复程度最低的那一个,避免输出为空。
在ONNX Runtime推理流程中的接入点
接入点位于解码循环结束之后、最终输出之前。典型代码路径是:编码器输出 -> 循环调用tokenizer解码 -> 收集所有beam的token ids -> 截断到EOS -> 调用过滤器。关键点是必须拿到完整的beam候选序列,而不是只拿得分最高的那个。ONNX Runtime的beam search实现通常会在输出张量里同时返回所有beam的序列,如果没有返回,则需要在解码循环里自己收集每一步的topk token。
过滤器本身不影响ONNX Runtime的张量计算,只对整数token列表操作,所以性能开销可以忽略。但要注意过滤后,输出数量可能小于beam size,如果后续有批量处理要求,需要统一补齐或改变排列方式。
验证方式与风险边界
验证方法很直接:准备一组输入文本,分别用过滤前后的代码跑一遍,统计每个输出序列里重复n-gram出现的次数,并人工检查生成内容是否可读。也可以把n设为3、4、5对比,找出适合当前业务数据的阈值。风险方面,过滤会误伤包含固定表达式的序列,比如“New York”如果作为连续token,在n=3时可能正好跨越边界被误判,但通常这种误判概率不高。更稳妥的方式是只过滤重复出现次数超过一次的n-gram,而不是初次出现就判定。
另一个边界是,过滤器只解决连续重复,不解决语义重复。如果输出两句话意思相近但用词不同,过滤器无能为力。此时应回到解码参数,比如增大重复惩罚系数、降低beam width或修改长度惩罚,这些改动在后处理之上再做,效果叠加但不冲突。
建议在集成到生产环境前,在小规模数据集上做一次过滤前后的输出对比,记录被过滤掉的候选比例,确认不会因为误删导致生成结果大量为空或过短。