LoHoSearch 在搜索质量评估中的常见位置,是“用统一接口给查询和候选文档打分”。它适合做排序回归、查询改写对比、新召回策略的离线预检,但不适合单独代表用户满意度。评估任务应该把 LoHoSearch 的分数当成中间证据,而不是最终结论。下面按通用搜索评估方法给出判断表和验证路径,具体字段需结合当前部署环境确认。
先看适用边界:用判断表过滤场景
| 评估场景 | 是否适合 | 操作动作 | 验证方式 | 风险边界 |
|---|---|---|---|---|
| 排序回归测试 | 适合 | 固定查询集合和候选文档集合,用 LoHoSearch 批量打分,再比较 Top N 排序 | 抽取 20 到 50 条查询,使用排序一致性指标,或人工抽检 Top3 | 分数不能直接换算成用户偏好;需要保留旧版结果做差分 |
| 查询改写 / 同义扩展对照 | 适合,但需固定基准 | 对原查询和改写查询分别对同一候选集打分,观察相对排序变化 | 检查改写后是否引入了偏离原意图的文档 | 改写本身质量差时,打分结果会“稳定地错”,需要先看改写文本 |
| 新召回策略离线预检 | 适合 | 把新召回结果与当前线上结果混在一起,用分数排序,看高质量文档是否进入头部 | 人工抽检头部和尾部文档,确认不是只靠相关词命中 | 召回集差异过大时,统一打分会掩盖检索链路差异 |
| 线上满意度评估 | 不适合单独使用 | 不要只输出“平均分数高”作为结论;需结合点击、转化、停留行为 | 用行为日志做分层对比,把 LoHoSearch 分数作为一个特征 | 无法捕捉权威性、实时性和个人化偏好 |
常见误区:打分高不等于排序好
一个常见做法是看到 LoHoSearch 分数上涨,就判断排序变好。这个判断缺少两个前提:候选集合没有变、查询集合没有变。如果候选池换了,分数涨可能只是新文档更容易被识别出关键词。另一个误区是给所有查询设同一个阈值。导航型、信息型、交易型查询的业务含义不同,通常不应该共用一个分数线。
先跑通一个可复现的评估骨架
以下代码是通用接入骨架,用 curl 模拟“查询 + 候选文档”打分。若 LoHoSearch 的接口路径或字段名不同,直接改对应位置。使用前先替换环境变量:${LOHO_ENDPOINT} 换成实际接口地址,${LOHO_TOKEN} 换成调用凭据。
curl -X POST "${LOHO_ENDPOINT}/search" -H "Content-Type: application/json" -H "Authorization: Bearer ${LOHO_TOKEN}" -d '{"query": "非全日制研究生 报考条件", "docs": ["https://example.com/pages/a", "https://example.com/pages/b", "https://example.com/pages/c"], "top_k": 5}'把返回结果保存成 JSON 文件。下面用 Python 判断 Top1 是否命中预期文档。这段代码不依赖特定 SDK,只处理通用格式,若返回字段不是 relevance_score,请改成实际字段名:
import json
with open("result.json") as f:
data = json.load(f)
items = sorted(data["results"], key=lambda x: x["relevance_score"], reverse=True)
expected = "https://example.com/pages/a"
print("top1", items[0]["doc_id"])
print("hit", items[0]["doc_id"] == expected)这段骨架能帮你确认三件事:LoHoSearch 是否返回可排序分数、是否按预期顺序返回、是否有字段缺失。如果连这个最小循环都跑不通,先不要进入批量评估。
提示词 demo:生成带预期特征的评测查询集
评估查询集不能只靠拍脑袋。可以把以下提示词交给文本生成模型,生成后由人做一轮过滤,保留适合当前业务场景的查询。
你负责搭建搜索评估查询集。请围绕“远程办公协同工具”生成 15 条查询。
要求:
1. 覆盖导航类、信息类、交易类三种意图;
2. 包含同义词、口语化表达和长尾词;
3. 每条查询给出一个预期的理想结果特征;
4. 不要写无法验证的主观评价。生成结果需要人工检查:查询是否自然、预期特征是否具体。不合格的条目直接删除,而不是让模型反复“优化”,否则查询集很容易变成模型自己的偏好集。
落地前的验证清单
- 确认 LoHoSearch 输入字段支持长文本、URL 或文档 ID,返回字段包含可排序的分数;
- 固定一个查询集合和候选文档集合,任何对比都基于同一份输入;
- 记录调用的模型版本、超参数或接口版本,避免分数漂移后难定位;
- 人工抽检 Top 3 和排名靠后的文档,确认分数差异与业务直觉一致;
- 如果同一查询和同一候选集合重复调用后排序不稳定,不要直接设阈值,先处理确定性;
- 保留每次评估的原始返回 JSON,之后做误差分析时不需要重新调用。
下一步判断
跑通小批量后,先回答三个问题:分数是否稳定、排序是否符合人工预期、查询集合是否覆盖核心业务意图。如果都能确认,再把 LoHoSearch 接入回归管道;如果分数不稳定,优先检查调用参数和候选集合是否变化。任何场景下都不要把单次分数变化当结论,至少保留多次调用的分布再做判断。