本地部署ChatGLM3时tokenizer加载缓慢的transformers版本降级方法

文章导读
本地部署ChatGLM3时遇到tokenizer加载特别慢,多数情况是transformers版本比模型适配的版本高出太多。ChatGLM3的依赖约束里使用的是4.30.x系列,新版本不是不能用,但初始化链变长,加载过程容易出现十几秒甚至更久的停顿。判断方向是:先确认transformers版本,高于4.40就优先尝试降到4.30.x;如果版本已经在4.30.x,慢的原因就要往模型文件完整性和网络
📋 目录
  1. Ⅰ 第一件事:确认当前版本与模型文件
  2. Ⅱ 降级到 4.30.x:具体命令
  3. Ⅲ 验证加载:用脚本计时
  4. Ⅳ 异常与回退方法
A A

本地部署ChatGLM3时遇到tokenizer加载特别慢,多数情况是transformers版本比模型适配的版本高出太多。ChatGLM3的依赖约束里使用的是4.30.x系列,新版本不是不能用,但初始化链变长,加载过程容易出现十几秒甚至更久的停顿。判断方向是:先确认transformers版本,高于4.40就优先尝试降到4.30.x;如果版本已经在4.30.x,慢的原因就要往模型文件完整性和网络连接方向去查。

这个判断的适用场景是:模型文件齐全、网络无异常、但transformers版本高于4.40。操作动作是把transformers降到4.30.x;验证方式是重新启动cli_demo.py或单独加载tokenizer并观察耗时;风险边界是降级可能影响同环境内依赖新版transformers接口的其它代码,如果部署脚本里引入了较新的量化组件,需要先做兼容性确认。

第一件事:确认当前版本与模型文件

执行位置是部署ChatGLM3的Python环境。先看transformers版本:

pip show transformers | grep Version
python -c 'import transformers; print(transformers.__version__)'

同时确认tokenizer相关的三个文件是否完整:tokenizer_config.json、tokenization_chatglm.py、ice_text.model。缺少任意一个,transformers会尝试从远端补全tokenizer配置,此时加载慢的问题就和版本无关,要优先处理文件完整性和网络。

本地部署ChatGLM3时tokenizer加载缓慢的transformers版本降级方法

降级到 4.30.x:具体命令

ChatGLM3推理脚本适配的transformers版本集中在4.30.x,建议先降到4.30.2。执行位置依旧是部署环境终端:

pip install transformers==4.30.2

如果环境中同时有accelerate、bitsandbytes等包,可以先不动它们,单独降级transformers。ChatGLM3对transformers的依赖路径很直接,4.30.2不需要配合其它包的大版本调整。降级过程中注意pip结尾是否有额外的Uninstalling提示,如果被改动的包恰好是推理脚本里import过的,先记录旧版本号,便于失败后恢复。

验证加载:用脚本计时

验证有两种方式。一种是直接运行ChatGLM3自带的cli_demo.py,观察启动后多久能进入输入状态;另一种更精确,写一段加载脚本用time统计耗时:

本地部署ChatGLM3时tokenizer加载缓慢的transformers版本降级方法
import time
from transformers import AutoTokenizer
start = time.time()
tokenizer = AutoTokenizer.from_pretrained('/path/to/chatglm3-6b', trust_remote_code=True)
print(f'load tokenizer cost: {time.time()-start:.2f}s')

加载时观察终端是否有Downloading进度条。如果一启动就长时间停在拉取进度上,说明网络请求占主导,单纯版本降级不会解决,需要先让模型目录完全离线可用。

异常与回退方法

降到4.30.2后如果出现AttributeError或KeyError,先看报错指向的对象。报错点在ChatGLMTokenizer类中,说明版本过低,部分接口没有对齐,可以回升到4.31或4.32重试,而不是继续往下找。报错点在modeling_chatglm.py中,更可能是环境中其它依赖包把transformers的逻辑替换或拦截了,需要对齐accelerate等关联组件的版本。

本地部署ChatGLM3时tokenizer加载缓慢的transformers版本降级方法

回退命令很简单:

pip install transformers==<原版本号>

回退或更换版本后,transformers首次加载会重新生成缓存文件。如果加载仍然偏慢,检查HOME目录下的.cache/huggingface是否有异常膨胀,但不要把它当成解决加载慢的核心手段,缓存问题与版本问题的处理路径不同。

transformers版本降级适用于“模型文件完整、网络连接正常、tokenizer初始化时间异常”的场景。真正的判断方式是:同一台机器、同一个模型路径、同样的启动方式下,只改变transformers版本,对比tokenizer加载耗时是否有可感知的变化。这个对比条件不成立时,换版本得出的结论都需要重新验证。