

## 一、背景与问题

在RAG（检索增强生成）系统中，传统单一检索方式各有局限：

| 检索方式 | 优势 | 劣势 |
|---------|------|------|
| **Dense向量检索** | 语义理解强，能捕捉"苹果"与"水果"的关联 | 精确关键词匹配较弱 |
| **Sparse向量检索** | 精确匹配强，能准确找到"iPhone 15 Pro Max" | 缺乏语义理解能力 |

**BGE-M3**的出现改变了这一局面——一个模型同时生成两种向量，配合**Milvus**的混合检索能力，实现语义理解与精确匹配的完美融合。

## 二、核心概念与术语

在深入技术细节之前，先了解本文涉及的核心概念。

### 2.1 向量（Vector / Embedding）

**定义**：向量是将文本、图像等非结构化数据转换为数值序列的表示方法，也称为"嵌入"（Embedding）。

```
文本: "苹果公司发布了新款iPhone"
        ↓ 向量化
向量: [0.123, -0.456, 0.789, 0.234, ...]
```

**核心作用**：
- 将语义相似的文本映射到向量空间中相近的位置
- 使计算机能够"理解"文本的语义关系
- 支持高效的相似度计算（如余弦相似度）

**应用场景**：语义搜索、推荐系统、问答系统、文本聚类

### 2.2 稠密向量（Dense Vector）

**定义**：每个维度都有非零值的向量，通常维度较低（如128-1536维），所有位置都存储有意义的信息。

```
示例：1024维稠密向量
[0.12, -0.34, 0.56, 0.78, -0.23, ..., 0.45]  # 每个位置都有值
```

**特点**：
- **语义压缩**：将文本的深层语义压缩到固定维度
- **连续表示**：向量空间中相似概念的距离较近
- **维度固定**：无论输入文本多长，输出向量维度相同

**优势**：
- 擅长捕捉语义关系（如"汽车"和"轿车"的相似性）
- 支持跨语言检索（如中文查询匹配英文文档）
- 存储效率高（固定维度）

**劣势**：
- 对精确关键词匹配较弱
- 可能丢失细粒度的词汇信息

### 2.3 稀疏向量（Sparse Vector）

**定义**：大多数维度为零，只有少数维度有非零值的向量。每个维度对应词汇表中的一个词，值为该词的重要性权重。

```
示例：稀疏向量表示
{
  30521: 0.85,   # "iPhone" 的词ID和权重
  12847: 0.72,   # "苹果" 的词ID和权重
  89234: 0.91,   # "新款" 的词ID和权重
  ...            # 其他维度均为0
}
```

**特点**：
- **词汇对应**：每个非零维度对应一个具体的词
- **高维稀疏**：维度可能达到数万甚至数十万，但非零值很少
- **可解释性强**：可以直接看出哪些词贡献了匹配

**优势**：
- 精确匹配能力强（如"iPhone 15 Pro Max"）
- 对专业术语、型号、专有名词效果好
- 结果可解释，便于调试

**劣势**：
- 缺乏语义理解（无法识别同义词）
- 依赖词汇表，对新词处理困难
- 存储和计算效率相对较低

### 2.4 ColBERT向量（Multi-Vector）

**定义**：ColBERT（Contextualized Late Interaction over BERT）是一种保留token级别信息的向量表示方法，为文本中的每个token生成一个向量。

```
文本: "苹果公司发布了新款iPhone"
        ↓ ColBERT编码
token向量矩阵:
  "苹果"   → [0.12, -0.34, ...]  # 向量1
  "公司"   → [0.56, 0.78, ...]   # 向量2
  "发布"   → [-0.23, 0.45, ...]  # 向量3
  ...      → ...
```

**特点**：
- **细粒度表示**：保留每个token的独立向量
- **延迟交互**：在检索时才进行token级别的匹配计算
- **高精度**：结合了语义理解和精确匹配的优势

**优势**：
- 检索精度高，尤其在长文本场景
- 保留了token级别的位置和上下文信息
- 对复杂查询效果好

**劣势**：
- 存储开销大（每个token一个向量）
- 计算复杂度高
- 不适合超大规模数据

### 2.5 三种向量对比

| 特性 | 稠密向量 | 稀疏向量 | ColBERT向量 |
|------|---------|---------|-------------|
| **维度** | 固定（如1024） | 可变（词汇表大小） | 每token一个向量 |
| **存储开销** | 低 | 中 | 高 |
| **语义理解** | 强 | 弱 | 强 |
| **精确匹配** | 弱 | 强 | 强 |
| **计算效率** | 高 | 中 | 低 |
| **可解释性** | 弱 | 强 | 中 |
| **适用场景** | 语义搜索、推荐 | 关键词搜索、电商 | 长文本、高精度需求 |

### 2.6 其他关键术语

**RAG（Retrieval-Augmented Generation）**：检索增强生成，一种结合检索系统和生成模型的技术架构。先从知识库检索相关内容，再将检索结果作为上下文输入给大语言模型生成答案。

**RRF（Reciprocal Rank Fusion）**：倒数排名融合，一种多路检索结果的融合算法。基于排名位置而非分数进行融合，公式为：`score(d) = Σ 1/(k + rank_i(d))`，其中k通常取60。

**Embedding Model**：嵌入模型，将文本转换为向量的神经网络模型。如BGE-M3、text-embedding-ada-002等。

**ANN（Approximate Nearest Neighbor）**：近似最近邻搜索，一种在高维向量空间中快速找到相似向量的算法，牺牲少量精度换取大幅提升的搜索速度。常见算法包括HNSW、IVF等。

## 三、BGE-M3核心技术

### 3.1 三种检索模式

BGE-M3（BAAI General Embedding - Multi-Functionality, Multi-Linguality, Multi-Granularity）支持三种检索方式：

| 检索方式 | 向量类型 | 特点 | 适用场景 |
|---------|---------|------|---------|
| **Dense Retrieval** | 稠密向量（1024维） | 语义理解强 | 同义词、语义相似、跨语言 |
| **Sparse Retrieval** | 稀疏向量（词权重） | 精确匹配 | 专业术语、产品型号 |
| **Multi-Vector** | ColBERT向量 | 细粒度交互 | 精细匹配的长文本 |

### 3.2 核心优势

相比传统方案需要分别部署Dense模型和Sparse模型，BGE-M3的优势在于：

```python
# 传统方案：需要两个模型
dense_model = SentenceTransformer('all-MiniLM-L6-v2')  # 语义检索
sparse_model = BM25()  # 关键词检索

# BGE-M3统一方案：一次推理同时生成两种向量
from FlagEmbedding import BGEM3FlagModel
model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)
```

**关键特性：**
- 统一模型：一次推理生成Dense和Sparse向量
- 多语言支持：100+语言，跨语言检索效果优异
- 长文本支持：最长8192 tokens
- 开源免费：Apache 2.0协议

### 3.3 向量生成原理

**Dense向量**：通过神经网络将文本压缩为1024维浮点向量，捕捉深层语义。

```python
# 输入: "苹果公司发布了新款iPhone"
# 输出: [0.123, -0.456, 0.789, ..., 0.234]  # 1024维
```

**Sparse向量**：基于词汇表，每个维度对应一个词，值为神经网络学习的重要性权重。

```python
# 输入: "iPhone 15 Pro Max 价格"
# 输出: {30521: 0.85, 12847: 0.72, 89234: 0.91, ...}
#       数字是词ID，值是学习到的权重
```

## 四、Milvus混合检索架构

### 4.1 架构设计

Milvus从2.4版本原生支持Sparse向量，可在单个Collection中存储两种向量：

```
┌─────────────────────────────────────────────────────────────┐
│                    Milvus Collection                         │
├─────────────────────────────────────────────────────────────┤
│   ┌─────────────┐    ┌─────────────┐    ┌─────────────┐    │
│   │  Dense字段  │    │ Sparse字段  │    │  标量字段   │    │
│   │ FLOAT_VECTOR│    │SPARSE_FLOAT_│    │ VARCHAR等   │    │
│   │  (1024维)   │    │   VECTOR    │    │             │    │
│   └─────────────┘    └─────────────┘    └─────────────┘    │
│         │                   │                   │          │
│   索引: HNSW          索引: SPARSE_        索引: INVERTED   │
│        IVF_FLAT            INVERTED_INDEX                    │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
                    ┌─────────────────┐
                    │  Hybrid Search  │
                    │  1. Dense检索   │
                    │  2. Sparse检索  │
                    │  3. 结果融合    │
                    └─────────────────┘
```

### 4.2 Collection设计要点

```python
from pymilvus import FieldSchema, DataType

fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True, auto_id=True),
    FieldSchema(name="content", dtype=DataType.VARCHAR, max_length=8192),
    # Dense向量：语义检索
    FieldSchema(name="dense_vector", dtype=DataType.FLOAT_VECTOR, dim=1024),
    # Sparse向量：关键词检索
    FieldSchema(name="sparse_vector", dtype=DataType.SPARSE_FLOAT_VECTOR),
]
```

### 4.3 索引选择策略

**Dense向量索引：**

| 索引类型 | 适用场景 | 参数建议 |
|---------|---------|---------|
| **HNSW** | 实时检索，低延迟 | M=16-48, efConstruction=200-500 |
| **IVF_FLAT** | 中等规模数据 | nlist=1024-4096 |
| **IVF_PQ** | 大规模，内存受限 | nlist=1024, m=8-32 |

**Sparse向量索引：**

| 索引类型 | 特点 | 适用场景 |
|---------|------|---------|
| **SPARSE_INVERTED_INDEX** | 倒排索引，精确匹配 | 通用场景 |
| **SPARSE_WAND** | 弱AND优化，速度快 | 高召回要求 |

## 五、混合检索融合策略

### 5.1 RRF（Reciprocal Rank Fusion）

RRF是Milvus内置的重排序算法，基于排名位置融合，更加鲁棒：

```python
from pymilvus import AnnSearchRequest, RRFReranker

# 构建检索请求
dense_req = AnnSearchRequest(
    data=[query_dense],
    field_name="dense_vector",
    limit=20,
    param={"metric_type": "COSINE"}
)

sparse_req = AnnSearchRequest(
    data=[query_sparse],
    field_name="sparse_vector",
    limit=20,
    param={"metric_type": "IP"}
)

# RRF融合
rrf_ranker = RRFReranker(k=60)
results = client.hybrid_search(
    collection_name="hybrid_docs",
    reqs=[dense_req, sparse_req],
    ranker=rrf_ranker,  # 使用ranker参数
    limit=10
)
```

**RRF公式**：`score(d) = Σ 1/(k + rank_i(d))`

- k为平滑参数（通常取60）
- 基于排名而非分数，避免分数尺度不一致问题

### 5.2 权重调优策略

不同场景的权重建议：

| 场景 | Dense权重 | Sparse权重 | 说明 |
|------|----------|-----------|------|
| 问答系统 | 0.8 | 0.2 | 语义理解优先 |
| 电商搜索 | 0.4 | 0.6 | 精确匹配优先 |
| 文档检索 | 0.6 | 0.4 | 平衡模式 |
| 相似推荐 | 1.0 | 0.0 | 纯语义相似 |

## 六、效果评估

### 6.1 检索效果对比

基于实际测试数据：

| 检索方式 | 召回率@10 | 精确率@10 | MRR | 延迟(ms) |
|---------|----------|----------|-----|---------|
| 纯Dense | 0.82 | 0.75 | 0.68 | 15 |
| 纯Sparse | 0.71 | 0.82 | 0.61 | 8 |
| **混合检索(RRF)** | **0.89** | **0.84** | **0.76** | 25 |

**关键发现：**
- 混合检索召回率提升7-18%
- 精确率提升2-9%
- 延迟增加约10ms（可接受）

### 6.2 场景适用性

```python
SCENARIO_ANALYSIS = {
    "问答系统": {
        "best_method": "混合检索(RRF)",
        "reason": "问题包含语义信息，需深度理解"
    },
    "电商搜索": {
        "best_method": "混合检索(加权)",
        "reason": "商品名称、型号需精确匹配"
    },
    "相似推荐": {
        "best_method": "纯Dense",
        "reason": "相似推荐主要依赖语义相似性"
    }
}
```

## 七、性能优化建议

### 7.1 批量处理

| 操作 | GPU批量 | CPU批量 |
|------|--------|--------|
| 向量编码 | 64 | 32 |
| 数据插入 | 1000（小文档） | 100（大文档） |

### 7.2 索引参数

```python
# 小规模（< 10万文档）
INDEX_SMALL = {"M": 16, "efConstruction": 200}

# 中规模（10万-100万文档）
INDEX_MEDIUM = {"M": 24, "efConstruction": 300}

# 大规模（> 100万文档）
INDEX_LARGE = {"M": 32, "efConstruction": 400}
```

### 7.3 查询优化

1. **查询缓存**：对高频查询结果进行缓存
2. **调整ef参数**：`ef = top_k * 2` 到 `top_k * 4`
3. **预热索引**：系统启动时执行预热查询
4. **并行检索**：Dense和Sparse检索可并行执行

## 八、总结

### 核心要点

1. **BGE-M3优势**：一个模型同时生成Dense和Sparse向量，降低部署复杂度
2. **混合检索价值**：融合语义理解和精确匹配，召回率提升7-18%
3. **RRF融合推荐**：基于排名的融合策略更加鲁棒
4. **权重调优**：根据业务场景调整Dense/Sparse权重

### 最佳实践清单

- [x] 选择HNSW + SPARSE_INVERTED_INDEX索引组合
- [x] 使用RRF融合策略
- [x] 根据场景调整权重（问答0.8/0.2，电商0.4/0.6）
- [x] 实现查询缓存
- [x] 监控检索延迟和召回率





BGE-M3的出现改变了这一局面——一个模型同时生成两种向量，配合Milvus的混合检索能力，实现语义理解与精确匹配的完美融合。

Milvus + BGE-M3：Dense与Sparse向量混合检索技术解析

人工智能

数据库

算法

BGE-M3模型革新RAG系统检索能力，同时生成稠密向量和稀疏向量，实现语义理解与精确匹配的完美融合。Milvus混合检索架构支持两种向量存储，结合RRF融合算法提升7-18%召回率。适用于问答系统、电商搜索等场景，显著提升检索效果。

结构化数据

数据转换

2026年中大促 | AI 领航 智绘未来

4核4G3M云服务器 新用户低至38元/年！

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Milvus + BGE-M3：Dense与Sparse向量混合检索技术解析-腾讯云开发者社区-腾讯云

Milvus + BGE-M3：Dense与Sparse向量混合检索技术解析

Milvus + BGE-M3：Dense与Sparse向量混合检索技术解析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐