要判断 LoHoSearch 是否能撑起低资源搜索评估，先得拆开看它到底测什么。LoHoSearch 通常是一个离线检索基准套件，核心输出是排序结果和对应指标，而不是问答正确率或线上延迟。低资源搜索任务往往表现为语料少、查询稀疏、相关标注稀缺，这类评估方式会把问题压缩成“给定极少量相关文档，检索器能否把它们排到前面”。如果你的任务符合这层定义，LoHoSearch 可以做横向对比；如果你需要的是一个直接接进服务里的搜索评分器，那就不适合。
LoHoSearch 的核心价值是提供可复现的评估环境，用来比较不同检索器在低资源条件下的命中能力。使用时先把自有数据映射为统一的查询-文档-标注结构，选用 Recall@k、MRR 等小召回指标，并至少对比一个普通检索器。由于样本量小，结果波动明显，需要多次运行并人工复核，不能把单次指标当作结论。
先确认 LoHoSearch 的评估边界
LoHoSearch 的评估能力建立在一套固定格式上：查询集、语料集、相关文档标注，三者缺一不可。使用前先检查现有数据能不能补齐这三项。只有查询和语料而没有人标注相关文档，Recall 和 nDCG 都算不出来，只能做无监督相关性估计，这时应该换评估思路。
适用场景通常包括：低资源语言的垂直搜索、领域内只有几千到几万篇文档、每类查询只有几条真实用例。需要改造后再用的场景包括：线上近实时召回、生成式问答评估。后者要额外加生成模型，已经是另一条评估链路。
搭建一个最小评估流程
下面是一段通用评估骨架，字段名根据 LoHoSearch 实际任务格式替换。先把它跑通，再往上加自己的检索器。
# 通用评估骨架，不是真实 API 命令行
queries = [
{'id': 'q1', 'text': '低资源语言检索示例', 'relevant_doc_ids': ['d12', 'd7']},
]
corpus = [
{'id': 'd7', 'text': '文档内容...'},
{'id': 'd12', 'text': '文档内容...'},
]
def evaluate(retriever_fn):
results = []
for q in queries:
ranked = retriever_fn(q['text'], top_k=10)
hits = [doc_id for doc_id in ranked if doc_id in q['relevant_doc_ids']]
results.append({
'query_id': q['id'],
'ranked': ranked,
'hits': hits,
})
return results执行时注意统一文本预处理：同一个检索器处理查询和文档时，要采用相同语言分词或清洗规则。跑完先看零命中查询占比，也就是有多少查询一个相关文档都没进候选集，这是低资源诊断里最直接的异常信号。
指标选择要匹配低资源场景
低资源条件下，相关文档通常只有一两条，大 k 的 nDCG 会稀释差异。下面是一组常用搭配。
| 指标 | 适合场景 | 注意点 |
|---|---|---|
| Recall@k | 关注相关文档有没有进候选集 | k 建议取 5 到 10；分母依赖全量标注，标注不全时会虚高 |
| MRR | 每个查询只有一条相关文档 | 对排序位置敏感，容易受单条异常查询影响 |
| nDCG@k | 相关文档有多个且需要重排 | 需要分级相关性标注，低资源下标注稀疏，结果不稳定 |
建议同时报告两个辅助数字：平均相关文档数和零命中查询比例。它们能解释主指标高低的真实原因，而不是让读者只看一个孤立分数。
结果解读与边界验证
低资源评估的分数天然有噪声，单次运行不能作为最终判断。建议对查询集做多次随机抽样，记录指标的中位数和区间。如果两次抽样差距很大，先怀疑数据分布而不是模型变化。
另外要注意，低资源不等于低质量。语料本身噪音高、查询表述模糊，会导致所有检索器分数都低。这时 LoHoSearch 只能暴露问题，不能告诉你问题来自数据还是模型。要区分这一点，需要加入人工复核。
验证清单：
- 确认查询集和语料集没有泄漏：同一文档不要同时出现在候选和标注相关集合里。
- 至少对比一个简单基线，例如 BM25 或 tf-idf，避免只看单模型绝对分数。
- 人工抽查 10 到 20 条失败查询，判断是标注错误、查询歧义还是排序错误。
- 记录检索器版本、分词器和运行参数，保证结果可复现。
常见问题
LoHoSearch 能直接接进线上搜索服务吗？
通常不建议。LoHoSearch 的定位是离线评估，线上服务还要处理索引更新、过滤规则和延迟约束。想上线，把排序模型单独抽出来做成服务，评估流程保留下来作为回归验证工具。
低资源搜索指标太低，怎么定位？
先看数据分布：平均相关文档数多少，零命中查询占比多高。如果相关文档只有一两条，Recall@10 偏低是预期现象。再用 BM25 这类基线跑同一流程，如果基线也低，问题大概率在数据质量或查询表述，而不是评估工具或模型能力。