Elasticsearch 向量数据库：数分钟内部署，可经济高效地扩展至数千亿规模

Elasticsearch 是全球部署最广泛的向量工作负载平台之一，为 GitHub、Docusign、Seismic 等公司的语义搜索、检索增强生成（RAG）和推荐系统提供支持。今天，我们宣布推出 Elasticsearch 向量数据库——一种针对向量应用优化的全新无服务器产品。您只需提供文档和查询，我们负责处理嵌入与索引调优，以及基础设施。此外，我们还确保其廉价且可扩展。

对于新用户，这是快速获得高质量向量搜索的最快途径。如果您已经在使用 Elasticsearch，那么这款新产品让您可以在数据已存在的平台上直接进行向量搜索，无需引入新系统。Elasticsearch 向量数据库支持多种场景：从为大语言模型（LLM）提供上下文，到为 AI 代理提供检索与记忆，再到服务数千亿级别的向量。启动一个新项目，数分钟内即可开始。

一个引擎，覆盖所有向量用例

Elasticsearch 向量数据库专为使用向量构建应用的用户而设计：

• RAG： 通过稠密与稀疏向量检索为 LLM 获取正确上下文，或使用结合向量与词法检索的混合搜索。生成质量随检索质量提升而提升。
• AI 代理： 为代理提供快速、带过滤的文档检索与对话记忆，满足多步代理循环所需的低延迟。
• 语义搜索： 仅需一种字段类型，零管道代码，即可按语义而非关键词匹配。
• 推荐与相似性： 在跨产品、图像或任何内容中高效寻找最近邻。

向量工作负载所需的一切，开箱即用优化

构建向量应用意味着将多个独立组件串联起来：设置并托管嵌入模型、将文档通过模型索引、高效存储向量、对每个查询应用嵌入模型、与向量存储匹配，最后检索匹配结果背后的文档。Elasticsearch 向量数据库为您处理这一切，无需额外配置或设置。

使用 vectordb_document 索引模式进行向量索引

vectordb_document 索引模式是一种专为向量优先工作负载设计的新索引配置，默认启用，因此您可以直接获得专家级设置。以下是它开启的功能：

• 默认使用 bfloat16： 向量存储大小仅为 float32 的一半，但对召回率影响极小，在量化介入之前，磁盘占用就减少近一半。
• 排除源向量： 在 Elasticsearch 中，您的嵌入已存在于用于搜索的索引结构中；在 _source 中保留另一份原始副本只会增加存储并拖慢结果获取。我们排除重复副本，使响应返回更快，存储更少。
• 将正确的文件预加载到缓存： 向量查询首先访问的数据结构会提前预热到内存中，因此您的第一次（以及第一千次）查询都极其快速。
• 并行合并： 合并操作将段整合为组织更好的向量结构，从而提升召回率和延迟，而多线程运行合并意味着您能更快达成目标。

向量存储、压缩与自动调优

• 您的向量会被自动压缩。更好的二进制量化（BBQ）可将向量内存占用缩小最多 32 倍，同时保持召回率；DiskBBQ 进一步降低大规模工作负载的内存需求。
• 选择加入自动校准，它会根据您的数据调整每个段的量化参数，并在每次合并时根据数据漂移重新调整。在 18 个数据集上测试时，每秒查询数（QPS）平均提升 16.7%，且大多数数据集召回率也有提升。

托管 GPU 推理上的嵌入

• 使用原生 Jina AI 嵌入与重排序模型生成嵌入，或通过 Elastic Inference Service (EIS) 在托管 GPU 上引入第三方模型，无需操作模型服务器。或者，您也可以选择自托管。
• **semantic_text** 字段类型自动处理分块、嵌入以及查询，是市场上实现语义搜索的最简单路径。

混合搜索与带过滤的向量搜索

• 混合搜索内置于引擎中，可在单个查询中结合全文检索与向量检索。通过倒数排名融合（RRF）或您想要的任何混合机制来融合结果。向量搜索通常是混合搜索中最难配置的部分。使用 Elasticsearch 向量数据库，这一切都已为您处理妥当，整个混合栈将变得更好。
• 借助带过滤的向量搜索，您可以在向量检索本身中应用元数据过滤，而不是作为事后补救从而破坏召回率。

企业级能力，从第一天开始

您还可以获得基于角色的访问控制（RBAC）、审计日志以及合规性认证——这些通常是纯向量数据库所缺乏的。

大规模下依然经济实惠且可预测

Elasticsearch 向量数据库专为随您增长而保持经济性设计：BBQ 和 DiskBBQ 压缩使存储保持线性、内存占用低，因此扩展到数千亿向量也不会让账单爆炸。您需要支付的费用由您已知的数字构成：存储的数据量、索引的数据量以及所需的搜索容量。估算您的文档数量、向量维度以及查询负载，就能在创建项目前计算出费用。月底时，您也能逐行理解账单。没有不透明的计算单元，也没有后台操作的意外费用。

如何开始使用 Elasticsearch 向量数据库

创建一个无服务器向量数据库项目

在 Elastic Cloud 中创建一个新的无服务器向量数据库项目。将数据指向端点，即可开始索引。

Elastic Cloud Serverless 项目类型：Elasticsearch、向量数据库、可观测性、安全

使用 semantic_text 创建索引

向量索引模式负责处理向量配置。使用 semantic_text 意味着嵌入和分块设置、索引设置均由托管 GPU 推理为您管理，无需构建嵌入管道。

PUT my-vectors
{
  "mappings": {
    "properties": {
      "description": {
        "type": "semantic_text"
      }
    }
  }
}

导入文档

索引文本，嵌入将自动生成。

POST /my-vectors/_doc
{
  "id": "park_rocky-mountain",
  "title": "Rocky Mountain",
  "description": "Bisected north to south by the Continental Divide, this portion of the Rockies has ecosystems varying from over 150 riparian lakes to montane and subalpine forests to treeless alpine tundra."
}

执行语义搜索查询

查询您刚刚创建的语义字段：

GET /my-vectors/_search
{
  "query": {
    "semantic": {
      "field": "description",
      "query": "a mountain range in the middle of north america"
    }
  }
}

您将获得结果：

{
  "took": 80,
  "hits": {
    "max_score": 0.7792325,
    "hits": [
      {
        "_index": "my-vectors",
        "_score": 0.7792325,
        "_source": {
          "id": "park_rocky-mountain",
          "title": "Rocky Mountain",
          "description": "Bisected north to south by the Continental Divide, ..."
        }
      }
    ]
  }
}

语义搜索只是起点。您可以运行纯文本查询，或将两者结合为混合查询。甚至可以自定义向量查询以获得完全控制。请参阅文档中的语义搜索快速入门获取完整说明。

Elasticsearch 向量搜索的未来规划

我们已经在开发下一波改进：

• 更好的多租户处理： 如果您的数据需要按租户隔离，我们将提供更快速、更少代码的方式。
• 自动索引优化： 从“全新索引”到“完全优化”，尽可能减少手动调整。
• 持续的基础设施改进： 持续调优向量数据库的设置与基础设施，让您始终获得最佳吞吐量和最快响应。

在 Elastic Cloud Serverless 上试用 Elasticsearch 向量数据库

从空项目到混合、带过滤的向量查询，只需数分钟，生产级默认配置已为您完成调优。快速构建可扩展的 AI 应用，而非基础设施。