离线环境下安装transformers失败,通常可以从两个方向查:一是pip是否真的通过内网源解析依赖,二是内网源是否完整同步了transformers的依赖树。与其反复改index-url,不如先把版本锁定和源指向一起确认,否则换一个包还会踩到同样的坑。
1. 先确认 pip 当前使用的源
现象:执行pip install transformers报超时、SSL错误或“No matching distribution found”。检查点:确认pip配置、内网源可达性。处理动作:
pip config list
pip config debug如果没有看到内网源地址,说明pip还在找默认PyPI。离线下通常超时,或代理拦截HTTPS。设置pip.conf(Linux位于~/.pip/pip.conf,Windows位于%APPDATA%\pip\pip.ini):
[global]
index-url = http://内网源地址/simple
trusted-host = 内网源地址
timeout = 60从内网机器访问 http://内网源地址/simple/transformers/,curl返回200说明源本身可用。
2. 锁定依赖版本再安装
直接指定transformers==某个版本,仍会让pip自行解析依赖。内部源缺一个依赖,整个安装就断掉。建议先把整棵依赖树固定下来。先在能访问外网的同架构机器上生成锁文件:
pip install pip-tools
pip-compile requirements.inrequirements.in内容:
transformers==4.44.2生成requirements.txt后,传到内网机器:
pip install -r requirements.txt `--index-url` http://内网源地址/simple `--trusted-host` 内网源地址这看起来直接,但对锁文件里每个版本,内网源都必须有对应文件。如果内部源没有完整同步,会在某一步报No matching distribution。
3. 内网源缺包时的分支处理
常见报错:
No matching distribution found for transformers==X:内网源没有该版本。Could not find a version that satisfies the requirement torch==X:transformers的传递依赖缺失,比如torch。Name or service not known:DNS解析不到内网源hostname。
处理动作:先确认缺失版本是否真的存在于内网源。访问 http://内网源/simple/包名/ 页面,看有没有对应whl文件。如果只是某几个包缺失,可以让镜像管理员手动上传,或用devpi、Nexus做全量PyPI代理。如果缺失的包较多,改用wheelhouse离线目录方式。在外网机器:
pip download -r requirements.txt -d ./wheelhouse `--only-binary`=:all:把wheelhouse传到内网后,安装时绕开源:
pip install -r requirements.txt `--no-index` `--find-links`=./wheelhouse这种方式的边界:必须保证外网下载时的Python版本、操作系统、CPU架构与内网一致。如果某个包只有sdist没有wheel,还要去掉`--only-binary`=:all:,内网环境就得有编译链。
4. 验证安装结果
安装完成不能只看pip返回success。运行:
pip check
python -c "import transformers; print(transformers.__version__)"pip check没有输出,说明依赖冲突不存在。import能打印版本,说明包真的可用。再把当前环境冻结一遍:
pip freeze > requirements.lock这份锁文件保留到版本控制里,下次环境重建直接用。
最后补充一点:如果内网源是刚搭好的,建议先确认它同步的是完整PyPI源,而不是只同步了几十个常用包。源同步策略需要结合内网实际情况确认,这个步骤不是pip配置能绕过的。