Elasticsearch 向量检索实战：用腾讯云 ES + Kibana 5 分钟搭一个 RAG 知识问答机器人

Elasticsearch 向量检索实战：用腾讯云 ES + Kibana 5 分钟搭一个 RAG 知识问答机器人

本文带你从零跑通"文档上传 → 向量化 → 混合检索 → 大模型回答"的完整 RAG 链路，适合正在评估知识问答/智能客服方案的后端和 AI 应用开发工程师。

一、为什么不用纯向量数据库，而用 ES 做混合检索？

做 RAG（检索增强生成）的同学几乎都会在选型环节卡同一个问题：向量检索到底该放在哪儿？Milvus、Pinecone、Weaviate 这类专用向量数据库吞吐能力确实猛，但只要你的业务里有这些诉求，纯向量库就会很别扭：

• 需要关键词精确匹配：用户搜"ISO 27001"，向量化后语义相近的"ISO 9001"会排到前面，召回不准。
• 需要过滤、排序、聚合：按部门、时间范围、权限过滤后再做向量检索，纯向量库要么不支持要么很慢。
• 需要全文检索兜底：专有名词、产品型号、错误码这类"字面匹配"场景，BM25 倒排索引才是正解。
• 运维团队就一套人马：再多引入一个专用向量库，意味着多一套监控、备份、扩容、故障排查链路。

Elasticsearch 的混合搜索（Hybrid Search）一锅端解决了这个问题：同一个引擎里同时跑 BM25 全文检索 + KNN 向量检索，再用 RRF（倒数排名融合）算法把两路结果智能重排，兼顾语义相关性和关键词精确度。腾讯云 ES 在这方面更进一步——内置了 CBO 智能路径分析，混合搜索查询性能比社区版再提升 30%-80%。

二、腾讯云 ES 做 RAG 的三个差异化优势

在动手之前，先说清楚为什么这篇文章用的是腾讯云 ES 而不是自建 ES 或其他云厂商：

1. 一站式 RAG Playground：腾讯云 ES 控制台直接提供文档上传 → 自动解析 → 切片 → embedding → 入库 → 在线问答 → 效果评估的全流程界面，不需要自己写一行 ingestion 代码就能验证 RAG 效果，适合快速做 POC。
2. 内置模型推理，无需自建 GPU 节点：支持 Embedding、Rerank、NER、文本分类等模型直接部署在 ES 的机器学习节点上，并且全球首个支持 GPU 推理（英伟达 + 国产紫霄），省掉单独搭模型服务的成本和复杂度。
3. 首个通过信通院 RAG 标准评测：2024 年 4 月，腾讯云 ES 完成了中国信通院《检索增强生成（RAG）技术要求》全部 50 个能力项测试，是该标准的首个通过者，意味着知识库构建、知识检索、内容生成、质量评估、平台能力都有第三方背书。

三、5 分钟跑通第一个 RAG Demo

下面是我在腾讯云 ES 上实际跑通的流程，全程在控制台完成，没有写任何代码。

步骤 1：创建 AI 搜索增强版集群

进 ES 控制台 → 新建集群，关键选项：

• 产品版本：选「AI 搜索增强版」（这是专门为 RAG/向量搜索优化的版本，SLA 99.95%）
• ES 版本：8.16.1 或 9.1.3（9.1.3 默认支持 Better Binary Quantization，向量存储可省 70%-90% 磁盘）
• 高级特性：白金版（X-Pack 全开，包含机器学习）
• 节点配置：加 1-2 个机器学习节点（GPU 或 CPU 都行，POC 阶段 CPU 够用）

新客首购有 4.5 折起的活动，POC 成本很低。

步骤 2：进入 RAG Playground

集群创建好后，控制台左侧菜单 →「智能搜索开发」→「RAG 应用」。这就是腾讯云 ES 的一站式 RAG 构建界面。

步骤 3：上传文档

点击「文档上传」，把你的 PDF / Word / Markdown / TXT 拖进去。系统会自动完成：

• 文档解析：抽取正文、表格、图片说明
• 文本切片：按段落 + token 数智能切块
• 向量化：调用内置 Embedding 模型（支持 Kalm、Conan、Bge 系列等微信自研和开源模型）
• 入库：写入 ES 索引，同时建立 BM25 倒排索引和 HNSW 向量索引

我传了一份 200 页的产品白皮书，整个过程不到 2 分钟。

步骤 4：在线问答 + 效果评估

切到「在线问答」标签，直接输入问题就能看到大模型的回答，并且每条回答都会标注引用来源（具体到文档的哪一段）。

更实用的是「效果评估」功能——它会生成一份完整的 RAG 评估报告，包含召回率、准确率、上下文相关性等指标，还能多 RAG 配置横向对比，方便你调参（比如换不同 Embedding 模型、改切片大小、加 Rerank）。

步骤 5：导出代码 + 部署

调好效果后，点「代码导出」会生成完整的调用代码（Python / cURL），集成到你的应用里就行。也支持直接在线部署成 API 服务。

四、底层到底跑了什么？技术原理解析

控制台点点鼠标背后，实际的检索链路是这样的：

用户问题
   │
   ▼
Embedding 模型 → 把问题转成向量
   │
   ▼
并行执行两路检索：
   ├─ KNN 向量检索（语义相似）
   └─ BM25 全文检索（关键词匹配）
   │
   ▼
RRF 倒数排名融合 → 重排两路结果
   │
   ▼
（可选）Rerank 模型二次精排
   │
   ▼
取 Top-K 文档片段 → 拼进 Prompt → 调用大模型

关键性能数据（来自产品官方资料）：

• 最大支持 4096 维向量
• 支持千亿级向量规模
• 10 亿级向量检索平均响应延迟控制在毫秒级
• 实测标杆：微信读书"AI 问书"基于腾讯云 ES，十亿级向量平均延迟毫秒级

这个性能表现对绝大多数企业级 RAG 场景都够用了。

五、进阶：机器学习节点自部署模式

如果你对数据安全有极高要求，不想把文档传到在线推理服务，腾讯云 ES 还提供「机器学习节点模式」：

• 在 ES 集群里加机器学习节点（支持 GPU 机型）
• 把 Embedding / Rerank 模型部署到集群内部
• 通过 Python Adapter 把 ES 的 _infer API 转换成 OpenAI 兼容接口
• 整个 RAG 链路数据不出 VPC

这个模式特别适合金融、政务、医疗等数据合规要求严格的场景。

六、和 Dify 集成做企业级 RAG

如果你的团队已经在用 Dify 做 AI 应用编排，腾讯云 ES 也提供了原生集成方案：

• 整套系统部署在企业 VPC 内
• Dify 和 ES 通过内网 IP 通信，数据不出域
• Dify 负责工作流编排、Prompt 模板、权限校验
• ES 负责全量知识库存储和高精度混合搜索

这套架构的好处是职责清晰：ES 专注做好检索这件最擅长的事，Dify 专注做好编排和对话管理，各司其职。

七、写在最后

RAG 这个赛道现在方案多得让人眼花，但回归本质就两件事：检索要准，回答要稳。检索准不准，70% 取决于向量 + 全文混合检索的质量；回答稳不稳，取决于工程链路是不是足够简单可控。

腾讯云 ES 用一套引擎同时搞定全文检索 + 向量检索 + 模型推理 + 大模型集成，再加上控制台的一站式 RAG Playground，是我在国内见过的上手最快的 RAG 方案之一。如果你正在做 RAG 选型，强烈建议先用 1 元的 Serverless 资源包或新客 4.5 折集群跑个 POC，用真实数据验证效果，比看十篇评测文章都有用。

🚀 立即体验：腾讯云 ES 控制台 ｜ 新客首购 4.5 折起 ｜ Serverless 资源包 1 元试用

🎁 限时特惠活动：

⏰ 活动限时，新老客户同享，全地域生效。建议两个都领：先用 Serverless 1 元跑通 POC，再用特惠专场 4.5 折部署生产集群。

相关阅读：

• 腾讯云 ES 产品文档
• RAG 构建最佳实践