本地部署 ChatGLM3 使用 transformers pipeline 生成时停止符不生效的 tokenizer 设置

文章导读
遇到 ChatGLM3 本地部署后,用 transformers pipeline 生成时停止符一直不生效,先不要急着调 max_new_tokens。问题通常出在 tokenizer 的 eos_token 设置和 pipeline 实际使用的停止条件不一致。ChatGLM3 的对话模板里,真正承担“停止”含义的是 <|assistant|> 这类特殊 token,而 pipelin
📋 目录
  1. A 先复现:区分“没停”和“没洗干净”
  2. B 检查 tokenizer 的 eos_token 和对话特殊 token
  3. C 让 pipeline 使用正确的停止条件
  4. D 分支排查清单与验证信号
A A

遇到 ChatGLM3 本地部署后,用 transformers pipeline 生成时停止符一直不生效,先不要急着调 max_new_tokens。问题通常出在 tokenizer 的 eos_token 设置和 pipeline 实际使用的停止条件不一致。ChatGLM3 的对话模板里,真正承担“停止”含义的是 <|assistant|> 这类特殊 token,而 pipeline 默认只看 eos_token_id。如果这个 id 没有同步到 pipeline,生成不会在预期位置停下来。

先复现:区分“没停”和“没洗干净”

先别用 decode 后的文本判断,否则会把“已经正常停止但显示了特殊 token”和“真的没停”混在一起。用 generate() 返回的 token ids 来确认:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = 'chatglm3-6b'
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map='auto')

inputs = tokenizer('你好', return_tensors='pt').to(model.device)
gen = model.generate(**inputs, max_new_tokens=50)

print('最后 6 个 token id:', gen[0][-6:].tolist())
print('eos_token:', tokenizer.eos_token)
print('eos_token_id:', tokenizer.eos_token_id)
print('pad_token_id:', tokenizer.pad_token_id)
print('generation_config:', model.generation_config)

看最后几个 token id 是否落在 eos_token_id 上。如果 generate() 正常而 pipeline 不正常,问题基本在 pipeline 的参数传递;如果 generate() 也不停,则先检查 tokenizer 和 generation_config。

检查 tokenizer 的 eos_token 和对话特殊 token

ChatGLM3 的 tokenizer 里可能把 <|endoftext|> 当作 eos_token,但对话停止时模型输出的是 <|assistant|>。这两个 id 通常不是同一个。你可以把对话特殊 token 也打印出来:

print(tokenizer.convert_tokens_to_ids(['<|user|>', '<|assistant|>', '<|observation|>']))

检查点按这几点过一遍:

本地部署 ChatGLM3 使用 transformers pipeline 生成时停止符不生效的 tokenizer 设置
  • tokenizer.eos_token 和 tokenizer.eos_token_id 是否对应,最好读一下本地 tokenizer_config.json 里的 eos_token 字段。
  • model.generation_config 中是否有独立维护的 stop_token_ids 类别字段,但 pipeline 不一定会读取它。
  • pad_token_id 是否为 None。如果为 None,pipeline 在 batch 生成时可能选错填充 token,也会干扰停止判断。

这里要特别留意:如果 generation_config 里配置了 stop_token_ids,而 tokenizer 的 eos_token_id 没有覆盖它,pipeline 的行为可能和直接 generate() 不一致。

让 pipeline 使用正确的停止条件

首先把 eos_token_id 和 pad_token_id 显式传给 pipeline。下面这段代码在当前环境里可以替代默认参数:

from transformers import pipeline

pipe = pipeline(
    'text-generation',
    model=model,
    tokenizer=tokenizer,
    eos_token_id=tokenizer.eos_token_id,
    pad_token_id=tokenizer.eos_token_id,
)

这里把 pad_token_id 临时指向 eos_token_id,是为了绕过 pad 缺失报错;如果你的生成任务需要区分 padding,要另外选择一个不会被作为有效内容的 token,并在后处理时剔除。

如果仍然不停,说明你要停的位置不是 eos_token_id,而是 <|assistant|> 这类角色边界。此时可以在 pipeline 的调用参数里加一个基于 token id 的 StoppingCriteria:

本地部署 ChatGLM3 使用 transformers pipeline 生成时停止符不生效的 tokenizer 设置
from transformers import StoppingCriteria, StoppingCriteriaList

class StopOnToken(StoppingCriteria):
    def __init__(self, stop_ids):
        self.stop_ids = stop_ids if isinstance(stop_ids, list) else [stop_ids]
    def __call__(self, input_ids, scores, **kwargs):
        return input_ids[0, -1].item() in self.stop_ids

assistant_id = tokenizer.convert_tokens_to_ids('<|assistant|>')
stop_criteria = StopOnToken(assistant_id)

outputs = pipe('你好', max_new_tokens=128, stopping_criteria=StoppingCriteriaList([stop_criteria]))

这段代码把“最后一个 token id 等于 <|assistant|> 的 id”当作硬停止条件。要注意它影响的是所有后续生成,如果你需要同时保留用户回复里的多个 <|assistant|>,请先确认这样的边界语义符合你的使用场景。

分支排查清单与验证信号

按下面几条对照当前现象,可以减少来回试错的次数:

  • 输出一直顶到 max_new_tokens 才停:eos_token_id 没有进 pipeline,或传入的值和 tokenizer 不一致。先打印 pipeline 里的 generation_config,确认参数是否被覆盖。
  • 输出中出现多个 <|assistant|>:模型已经产出角色标记,但停止条件没把它当成终点。检查最后一个 token id,并补充 StoppingCriteria。
  • 输出在预期位置停下,但结果里仍能看到 <|assistant|>:这是 decode 阶段把特殊 token 泄漏出来了。设置 skip_special_tokens=True 再解码。
  • 加载后直接报 pad_token 相关错误:设置 pad_token_id,临时指向 eos_token_id 或单独选一个填充 token,但不要把它参与 attention mask。

验证时看三个信号:一是生成结束时的最后一个 token id;二是输出文本里不再出现多个角色标记;三是同一输入连续两次生成,停止位置一致。如果这三个信号都符合,说明 tokenizer 设置和停止条件已经对齐。

最后提醒:如果后续更换模型目录或 transformers 版本,tokenizer 里的特殊 token 映射和 generation_config 都可能变化。这类设置需要结合当前本地环境重新确认,不建议把一次调试中得到的 id 直接固化成长期配置。