离线微调后推理结果异常,优先确认的不是生成参数,而是tokenizer与model.config中针对pad_token_id的约定是否一致。这个问题在离线环境更容易出现:训练方和加载方如果不在同一套配置下对齐,模型拿到的prompt、attention mask与训练时的分布会有一层错位。但pad_token_id不是唯一原因,排查时要先按现象分流,再判断要不要改配置。
按异常现象先分流
通常按这三类区分方向:
- 加载或生成时直接报错,例如KeyError: pad_token_id或tokenizer与model对应的id冲突,这属于配置字段缺失或版本不一致。
- 不报错但生成内容明显异常,例如反复输出<unk>、同一段prompt多次生成结果差异大、生成长度一直超过预期且不停止,这类问题才需要优先检查pad约定。
- 本机测试正常,换到离线环境后行为变化,优先检查保存的配置是否完整,以及两处的transformers版本是否一致。
比对tokenizer与config里的pad_token_id
加载模型与tokenizer后,先执行这一行:
print(tokenizer.pad_token_id, model.config.pad_token_id)如果两边相等且不是None或-1,说明pad配置本身没有冲突,应该去检查attention mask的构造;如果一边是-1,一边是实际token id,或者一边为None,就按下面的处理方式修。常见不一致包括:LLaMA原版config中pad_token_id为-1,tokenizer中的pad_token为None;一些模型的tokenizer把pad与eos指向同一个token id,但config没有同步;合并LoRA导出时只保存了权重,没有重新保存tokenizer_config.json和config.json。
把两侧约定同步到同一个有效token id
修正方式是把两侧统一到一个确实存在的token id上。建议先补tokenizer,再同步config:
if tokenizer.pad_token_id is None:
tokenizer.pad_token = tokenizer.eos_token
model.config.pad_token_id = tokenizer.pad_token_id
tokenizer.save_pretrained(save_dir)
model.save_pretrained(save_dir)关键点有两个:不要直接把pad_token_id写成0或某个固定数字,因为0在部分词表里可能是<unk>或控制符,需要先确认该id是有效token;使用tokenizer.pad_token = tokenizer.eos_token可以把pad id与词表实际内容绑定,避免后续再用到不存在的id。保存后检查save_dir下的config.json与tokenizer_config.json,确认两边字段一致。
需要注意边界:修改config不会改变已训练权重;如果模型在微调阶段没有让pad token参与注意力,推理时仍需通过attention_mask覆盖padding位置,否则padding位置仍可能参与计算。
用最短生成样例验证结果
重新加载保存后的目录,先做静态校验:tokenizer.pad_token_id与model.config.pad_token_id相等,且不是-1或None。然后跑一个短输入,把max_new_tokens设小,例如32。观察生成是否在EOS处正常停止,已生成文本中不反复出现<pad>或<unk>;同一段prompt连续生成两次,输出应该基本稳定。这些信号都通过后,pad_token_id这一项可以关掉。
仍然异常时继续对照其他配置
如果修复后仍异常,按三条路径继续排查。第一,确认generation_config.json里有没有写pad_token_id,如果写了,生成时会采用该值而不是model.config中的值;第二,对比训练时的tokenizer与推理加载的tokenizer的vocab.json,确认词表顺序和special token映射没有变化;第三,确认多卡或分片保存的checkpoint是否被完整加载,加载不完整时embedding维度或位置编码可能保持在旧状态。这些都不是时,再检查eos_token_id、sep_token是否在微调时被改动,以及模型自身是否对special token做了额外映射。全部检查通过后,才回到数据集或模型结构本身找原因。