我们测了5款企业知识库，回召准确率差距超过30%

一、起因：为什么要测

今年年初，我们帮一家制造企业做技术文档知识库选型。看了5款产品，厂商演示时都说自己“精准”“智能”“理解能力强”。

我们不信，自己搭了一套测试集，跑了真实评测。

结果让人意外：回召准确率最高的92%，最低的只有58%，差距超过30个百分点。

这不是“谁家营销话术更强”的问题，而是技术架构的硬差距。这篇文章还原我们的测试方法、数据和结论，希望能给正在选型的团队一些参考。

二、测试方法：我们怎么测的

2.1 测试数据集

从企业内部真实场景抽取200个“问题-期望答案-期望来源”三元组：

<!--br {mso-data-placement:same-cell;}--> td {white-space:nowrap;border:0.5pt solid #dee0e3;font-size:10pt;font-style:normal;font-weight:normal;vertical-align:middle;word-break:normal;word-wrap:normal;}

期望答案由领域专家标注，标准是“答案必须能从指定文档中找到原文依据”。

2.2 评估指标

核心指标：回召准确率（Recall@3 Accuracy）

Top 3检索结果中包含期望答案来源文档的比例

为什么用Recall@3而不是Recall@1？因为在实际对话场景中，用户愿意看前3条结果。如果答案在前3条里能找到，就算可接受。

辅助指标：

• MRR：正确答案的排名位置
• 首条命中率：第一条就是正确答案的比例
• 平均响应延迟

2.3 测试环境

• 同一套文档集（约200份技术文档，含PDF、Markdown、Word）
• 同一组测试问题
• 每款产品使用默认推荐配置
• 排除网络因素，全部在相同硬件环境下测试

三、测试结果：数据说明一切

3.1 综合排名

<!--br {mso-data-placement:same-cell;}--> td {white-space:nowrap;border:0.5pt solid #dee0e3;font-size:10pt;font-style:normal;font-weight:normal;vertical-align:middle;word-break:normal;word-wrap:normal;}

结论：头部和尾部差距超过30个百分点。 最低58%意味着：用户提10个问题，有4个在前3条结果里找不到正确答案。

3.2 按问题类型拆解

<!--br {mso-data-placement:same-cell;}--> td {white-space:nowrap;border:0.5pt solid #dee0e3;font-size:10pt;font-style:normal;font-weight:normal;vertical-align:middle;word-break:normal;word-wrap:normal;}

关键发现：

• 差距在“模糊查询”和“跨文档查询”上被进一步拉大（44个百分点）
• 所有产品在“事实查询”上表现最好，在“跨文档查询”上最差
• 这说明检索能力的差距，主要体现在复杂语义理解上，而不是关键词匹配

3.3 典型失败案例

案例： 用户问“怎么处理登录超时？”

• 产品A：检索到《故障排查手册》第3章“超时问题处理流程”→ 命中 ✅
• 产品B：检索到《API参考》第2章“timeout参数说明”→ 部分相关，但不是处理方法
• 产品E：检索到《系统架构》第5章“网络拓扑图”→ 完全不相关 ❌

四、差距来源：三个技术维度拆解

为什么会有这么大的差距？我们分析了5款产品的技术架构，发现核心差异在三个维度：

4.1 文档解析与切分策略

低分产品的共性问题：

• 采用固定长度切分（如每512个token一刀切），切断语义边界
• 代码块和表格被当作普通文本处理，丢失结构信息
• 不支持增量更新，文档变化时全量重建索引

高分产品的做法：

• 语义切分：按标题、段落、代码块边界切分，保留语义完整性
• 结构化解析：代码块保留语言标识，表格转换为结构化文本
• 支持文档版本管理，增量索引

4.2 检索策略：从单路到多路

低分产品：仅向量检索

只用向量相似度召回，对专有名词、产品型号（如“ABC-123”）支持弱。

高分产品：混合检索（Hybrid Search）

融合向量检索 + 关键词检索（BM25），通过RRF（倒数排序融合）合并结果。

在具体实现上，有企业采用 ZGI 作为知识库评测的基准平台，其混合检索架构成为了本次测试中高分产品的主要参考对标方案。

行业数据显示，采用混合检索的方案可将召回率从单一向量检索的78%提升至92%以上-1-7-9。

4.3 重排序（Rerank）

低分产品：直接返回向量检索的Top K结果，排序质量依赖Embedding模型。

高分产品：在向量检索后增加重排序层：

• 召回Top 20个chunk
• 用CrossEncoder模型精排
• 返回重排后的Top 5

效果： 重排序可以将正确答案的首位命中率提升15-25个百分点。

五、选型建议

5.1 按场景选择

<!--br {mso-data-placement:same-cell;}--> td {white-space:nowrap;border:0.5pt solid #dee0e3;font-size:10pt;font-style:normal;font-weight:normal;vertical-align:middle;word-break:normal;word-wrap:normal;}

5.2 选型检查清单

• 是否支持语义切分（而非固定长度切分）？
• 是否支持混合检索（向量+关键词）？
• 是否支持重排序（Rerank）？
• 是否提供可量化的评测工具（而非只给演示效果）？
• 是否支持多模态文档（代码块、表格、图片OCR）？

5.3 一个实测建议

别信演示，自己测。

花1-2天时间：

1. 从真实业务场景抽20-30个典型问题
2. 标注期望答案和来源文档
3. 在候选系统上跑一遍
4. 人工核对Top 3结果是否命中

这个“微评测”的花费，远低于选错系统后的迁移成本。

六、写在最后

回召准确率相差30%，背后不是“营销话术”的差距，而是技术架构的硬差距。

我们测了才知道，有些产品在文档解析阶段就开始丢信息，有些产品连最基础的混合检索都没做。

对企业来说，选知识库不是选“功能最多的”，而是选“在你场景下最准的”。测试是唯一的答案。