评估 TGI 使用 bitsandbytes 做 INT4 量化后的精度损失,核心不是看量化配置本身,而是对比同一组输入在原始 FP16/BF16 模型和量化模型上的输出差异。TGI 服务端不会帮你输出差异,所以需要写一个独立的评估脚本,从外部同时请求两个服务,再对生成结果做量化对比。下面给的是通用骨架,可直接复制改造成自己的评估流程。
评估思路
先明确要对比的维度:如果你做的是文本生成,建议同时看输出文本的语义相似度和生成稳定性;如果你做的是分类或抽取,应该对比最终标签或提取实体的准确率。通常不建议只用一个样本或只看一两条输出,因为随机采样和量化误差都会造成抖动。建议准备至少几十条固定测试样本,每条样本在原始模型和量化模型上使用相同的生成参数(temperature、top_p、max_new_tokens、seed)进行多次生成,然后计算平均相似度或任务指标。
脚本骨架:通过 HTTP 同时请求两个 TGI 服务
先启动两个 TGI 服务,一个用原始模型,一个用带 bitsandbytes 配置的 INT4 模型。下面是 Python 脚本,用 requests 库分别调用两个端点的 generate 接口。替换其中的 URL、模型名和测试样本即可。
import requests, random, statistics
from sklearn.metrics.pairwise import cosine_similarity
from sentence_transformers import SentenceTransformer
# 两个 TGI 服务地址
FP16_URL = "http://localhost:8080/generate"
INT4_URL = "http://localhost:8081/generate"
# 准备固定测试样本(建议从真实业务中抽)
samples = [
"先解释一下什么是量子纠缠,再用一句话举例。",
"写一段客服回复,说明订单延迟原因并提供补偿方案。",
# ... 至少 30~50 条
]
# 统一生成参数
gen_params = {
"max_new_tokens": 200,
"temperature": 0.7,
"top_p": 0.9,
"seed": 42, # 固定种子,减少采样随机性
}
def call_generate(url, text):
resp = requests.post(url, json={"inputs": text, "parameters": gen_params})
resp.raise_for_status()
return resp.json()["generated_text"]
def semantic_similarity(text1, text2):
# 使用一个固定 embedding 模型,例如 all-MiniLM-L6-v2
model = SentenceTransformer('all-MiniLM-L6-v2')
emb1 = model.encode([text1])[0]
emb2 = model.encode([text2])[0]
return cosine_similarity([emb1], [emb2])[0][0]
results = []
for sample in samples:
fp16_out = call_generate(FP16_URL, sample)
int4_out = call_generate(INT4_URL, sample)
sim = semantic_similarity(fp16_out, int4_out)
results.append(sim)
print("平均语义相似度:", statistics.mean(results))
这个脚本会输出一个 0~1 之间的相似度分数。如果平均值低于你心里的阈值(比如 0.9),说明量化后输出与原始模型有较大偏离,需要进一步检查具体哪些样本差异大。注意:脚本依赖 sentence-transformers,如果不想引入额外模型,可以直接用字符重叠率、BLEU 或 ROUGE 代替,但语义相似度更贴近实际感受。
快速手动对比:curl 单请求验证
在跑完整脚本之前,先用 curl 手动看一条输出,判断量化是否明显偏离常识。下面命令直接对比两个服务,输出结果人眼可读。
# 原始模型请求
echo '{"inputs":"解释一下什么是因果推断","parameters":{"max_new_tokens":100,"seed":42}}' | curl -s -X POST http://localhost:8080/generate -H 'Content-Type: application/json'
# INT4 量化模型请求
echo '{"inputs":"解释一下什么是因果推断","parameters":{"max_new_tokens":100,"seed":42}}' | curl -s -X POST http://localhost:8081/generate -H 'Content-Type: application/json'
如果两条输出在关键事实、语言流畅性上差异明显,则说明该模型和量化配置不适合直接上线;如果只差在措辞,说明量化误差在可接受范围内。注意:这里的端口要和你实际启动 TGI 时映射的一致。
验证注意事项
- 固定随机种子可以降低采样抖动,但 TGI 服务端不一定每次都严格遵循 seed(取决于后端实现和并发情况)。建议多跑几次取均值。
- 生成长度不一致时,相似度指标会失真。可以先将输出截断到共同长度,或者统一使用 max_new_tokens 并让模型完整生成。
- 如果你评估的是现实任务(如代码生成、SQL 转换),不要只看语义相似度,要直接对比任务成功率和执行结果。
- bitsandbytes 的 INT4 量化通常不需要额外校准集,但量化后的权重分布与原始模型不同,某些层可能对特定输入更敏感。可以在脚本里记录差异最大的样本,人工检查是共性还是偶发。
风险边界
这个脚本只能告诉你量化模型和原始模型输出的差异有多大,并不能直接判断业务是否可接受。最终取舍取决于你的应用对错误的容忍度、推理成本提升和延迟要求。如果发现精度损失主要出现在长文本或特定格式上,可以尝试改用 GGUF 或 AWQ 等其他量化方式,或者调整量化的 LoRA 适配层。建议先用这个脚本做一轮粗筛,再针对关键场景设计更完整的离线评测集。