要想判断 chunk size 在本地 RAG 系统中如何影响检索准确率,不能直接套用某个固定值。你需要先确认自己的查询类型、文档长度和失败模式,然后用同一套查询集跑不同参数,对比命中段落和生成答案。本文给出的是对比方法和取舍矩阵,不预设具体数值。
适用条件:先判断当前是否需要调整 chunk size
如果检索结果经常出现这三种情况,值得做一轮 chunk size 对比:
- 查询具体事实(如“某合同违约金比例”),命中的段落提到关键词但没有完整条款;
- 查询跨章节主题(如“该制度的设计思路”),命中的小段落只有局部内容,无法支撑回答;
- 生成答案时频繁出现上下文截断,或模型说“检索段中没有足够信息”。
相反,如果当前检索结果已经稳定命中答案原文,可以先不调整,保存一套基线查询集备用。不要为了调参而调参。
核心取舍:chunk 大小不是单独决定的,而是与查询粒度配套
| 对比维度 | chunk 偏小(如 128-256) | chunk 偏大(如 1024-2048) | 判断依据 |
|---|---|---|---|
| 检索粒度 | 更易命中局部事实,但容易缺少前置条件 | 上下文更完整,但可能混入无关段落 | 检查命中段落是否恰好覆盖答案所在原文 |
| 向量区分度 | 每个向量主题单一,相似度分布更集中 | 多主题段落的向量被稀释,相似度可能普遍偏低 | 观察 top-k 得分差距和排名稳定性 |
| 索引规模 | 片段数量多,索引更大,检索耗时通常上升 | 片段数量少,索引更小,但召回靠前内容可能被截断 | 对比日志中的检索耗时和 chunk 总数 |
| 答案产出 | 生成时需要跨多个片段拼证据,衔接成本高 | 单片段信息充足,但超出上下文窗口时需要截断 | 检查生成结果是否引用命中段落内容 |
操作动作:跑一套可重复的对比实验
不要只改 chunk_size 然后看一次回答。建议准备 10 条以上查询,覆盖事实型、归纳型、对比型三类问题,对每个 chunk_size 重复一遍索引和检索。以下是一个可参考的流程骨架:
# 伪代码:在不同 chunk_size 下记录检索结果
import json
query_set = [
"合同中的违约金比例是多少?", # 事实型
"第三部分的设计思路是什么?", # 归纳型
"旧版和新版流程有什么区别?", # 对比型
]
for chunk_size in [128, 256, 512, 1024, 2048]:
build_index(chunk_size) # 用你的 loader/splitter 重建索引
for query in query_set:
hits = retrieve(query, top_k=5) # 记录 top-k 段落
answer = generate(query, hits) # 记录生成结果
log_to_file({
"chunk_size": chunk_size,
"query": query,
"hits": [h["text"] for h in hits],
"answer": answer,
})把日志写到 JSON 或 CSV 文件,方便后续按 chunk_size 分组。对每个结果至少做两件事:第一,检查命中段落是否包含查询答案的原文句子;第二,检查生成答案是否只依赖检索段落内容,还是引入了模型自身记忆。
验证方式:按失败模式选择参数,而不是只看单个分数
如果某一档 chunk_size 下,事实型查询的命中段落频繁缺失关键数字,则把这类 chunk 调小;如果归纳型查询的生成回答经常与文档原意偏离,则调大。建议的验证清单如下:
- 每个查询的 top-5 命中段落中,是否至少有一条包含答案原文?
- 答案是否直接引用了命中段落中的内容,还是模型在“自由发挥”?
- 索引重建耗时和单次检索耗时是否在可接受范围内?
- 相同查询在不同 chunk_size 下,排序稳定性如何?
如果想让评估过程更规范,可以加一个提示词来统一判断标准:
你是一个本地 RAG 检索质量评估器。给定查询、检索段落和生成答案,请输出:
- 支持水平:完全支持 / 部分支持 / 不支持
- 缺失关键信息:无 / 缺少哪个事实
- 建议 chunk 调整方向:更小 / 更大 / 保持
注意:只依据给定段落判断,不要使用模型内部知识。边界与后续动作
chunk size 只是其中一个可调参数。改变 embedding 模型、重排序策略或 top-k 数量,都会影响最终准确率。做对比实验时,最好一次只改一个变量,否则无法判断是哪个参数带来了变化。若条件允许,为你的语料固定一份“基线查询集”和“标准答案集”,后续调整 prompt 或模型时也能复用。