


## 1. 文本嵌入

### 1.1 嵌入与嵌入模型（Embedding and Embedding Models）

在向量空间中，**嵌入技术是机器学习中的一种重要技术**，它可以将文本、图片、音频等非结构化数据转换为数值向量（向量就是一个数字列表），从而使计算机能够理解和处理这些数据。

**嵌入模型（Embedding Models）**：通常是指能够将文本转换为向量表示的模型，可以将输入文本（如单词、句子、段落等）转换为固定长度的向量。嵌入技术能够捕捉文本的语义信息，使得语义相似的文本在向量空间中距离更近。

**`借助嵌入模型转化成向量:`**

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/5a8fc2407f0508453bc89e3ab86ee877.png)


### 1.1.1 什么是向量？

在向量空间中，**嵌入的向量是数据的一个表示**，它通常是一个**一维数组**（即向量），例如：

**[0.023, 0.847, -0.129, ..., 0.352]**：这是一个向量，每个数字代表数据在某个维度上的特征。

在文本嵌入中，每个词或句子都会被转换成一个向量（如：`[x, y, z]`），这些向量可以表示文本的语义信息。

**示例**：
- 在三维空间中，一个点可以用三个坐标表示：`(x, y, z)`，这就是一个三维向量
- 在嵌入空间中，一个词可能被表示为一个 768 维的向量：`[0.1, 0.2, ..., 0.5]`

**向量的可视化**：

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/96c8df6f52e6bd2b4eff44f60c1a4732.png)


如图，一维空间中的点可以用一个数字表示，二维空间中的点可以用两个数字（坐标）表示，三维空间中的点可以用三个数字表示。同样，在高维空间中，一个点（或文本）可以用一个高维向量表示。

**向量的作用**：

向量可以用来**衡量文本之间的相似度**。如果两个文本的向量在空间中距离很近，说明它们的语义相似；如果距离很远，说明它们的语义不同。

通过计算向量之间的距离（如**欧几里得距离 Euclidean Distance**）或**余弦相似度 Cosine Similarity**，我们可以衡量两个文本的相似程度，从而实现语义搜索、文本分类、推荐系统等应用。

**距离计算示例**：

- **在三维空间中**，一个点可以用三个坐标表示：`(x, y, z)`，两个点之间的距离可以用欧几里得距离计算
- **在嵌入空间中**，两个文本的相似度可以用余弦相似度计算

在这个空间中，语义相似的文本会聚集在一起，而语义不同的文本会分散开来。

### 1.1.2 嵌入模型的应用场景

嵌入模型有多种应用场景，主要包括：

**① 语义搜索（Semantic Search）**

传统搜索依赖关键词匹配，一个关键词（如：`(x, y, z)`），两个关键词（如：`(x, y)`），三个关键词（如：`(x, y, z)`）。

但是，如果用户搜索"机器学习"，传统搜索只能找到包含"机器学习"这个词的文档，而无法找到包含"深度学习"、"神经网络"等相关词的文档。

而**语义搜索**通过向量相似度来查找语义相关的内容，即使文档中没有出现"机器学习"这个词，只要语义相似，也能被检索到。

**② 提供一种衡量文本相似度的方法**

通过将文本转换为向量，我们可以计算向量之间的相似度，从而衡量文本之间的相似程度。

**③ 其他应用**

- **检索增强生成（Retrieval-Augmented Generation, RAG）**：结合检索和生成，先检索相关文档，再生成答案
- **推荐系统（Recommendation Systems）**：根据用户历史行为，推荐相似的内容（如电影、音乐、商品等）
- **异常检测（Anomaly Detection）**：检测与正常数据不相似的异常数据

---

## 1.2 Embeddings 嵌入模型

### 1.2.1 定义嵌入模型

在这里我们选择Google的嵌入模型来进行练习操作。定义 Google下的嵌入模型使用：

```python
# 导入谷歌的嵌入模型
from langchain_google_genai import GoogleGenerativeAIEmbeddings

embeddings = GoogleGenerativeAIEmbeddings(model="gemini-embedding-001")
```

- 定义 GoogleGenerativeAIEmbeddings 嵌入模型类与定义聊天大模型类似，在 LangChain 框架中基础 Embeddings 类（GoogleGenerativeAIEmbeddings  继承了它）设计了两个核心方法来处理嵌入。

#### 表示文档

**① .embed_documents()**：用于处理文档 Documents，它的输入是多个文本。

**功能说明**：
- 例如要将一个知识库里的所有段落都转换成向量，就会使用这个方法
- **输入**：多个文本（列表形式）
- **输出**：返回一个【二维列表】`List[List[float]]`，外层列表的每个元素对应一个输入文档，内层列表则是该文档的向量表示

**代码示例**：
```python
texts = ["文档1", "文档2", "文档3"]
vectors = embeddings.embed_documents(texts)
# 返回：[[0.1, 0.2, ...], [0.3, 0.4, ...], [0.5, 0.6, ...]]
```

#### 表示问题

**② .embed_query()**：用于处理查询 Query，它的输入是单个文本（一个字符串，str）。

**功能说明**：
- 例如，当用户提出一个问题时，需要将这个问题转换成向量，以便在数据库中搜索相似的文档段落，就会使用这个方法
- **输入**：单个文本（字符串）
- **输出**：返回一个【一维列表】`List[float]`，里面是浮点数，代表单个查询文本的向量

**代码示例**：
```python
query = "什么是机器学习？"
vector = embeddings.embed_query(query)
# 返回：[0.1, 0.2, 0.3, ...]
```

---

### 1.2.2 输入表示为向量，拆分成两个方法

**为什么要分成两个方法？**

对于不同的供应商，针对不同的场景会做不同的优化策略和模型。**即使底层是同一种供应商，也会对两者进行不同的优化策略**（添加不同的指令前缀），为了获得更好的搜索效果。

**核心原因**：
1. **文档（Document）**：需要被搜索的内容，通常数量多、内容长
2. **问题（Query）**：用户的查询，通常简短、目标明确

**优化策略不同**：
- 文档嵌入：侧重于全面表示文档的语义信息
- 查询嵌入：侧重于捕捉用户的查询意图

通过分别优化，可以提高搜索的准确性和效率。

**其实分别对应下图中文档与查询的向量生成**：

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/ae821554b55b71eae0368fabc7acd64f.png)

**① Embed text as a vector（将文本嵌入为向量）**

**② Provides a way to measure similarity between texts（提供一种衡量文本相似度的方法）**

之所以设计成两个方法，是因为某些嵌入模型供应商（如 OpenAI、Cohere 等）会针对"被搜索的文档"和"搜索查询本身"采用不同的优化策略和模型。即使底层是同一个模型，也可能对两者进行不同的预处理（例如添加不同的指令前缀），以获得更好的搜索效果。

---

## 1.3 实战代码示例

### 1.3.1 生成文档向量（generate_vector.py）

```python
# 嵌入模型生成向量（通过md文件按照token进行切分得到chunk也就是document，再进行转化成向量）
# 导入谷歌的嵌入模型
from langchain_google_genai import GoogleGenerativeAIEmbeddings
from langchain_community.vectorstores import Chroma

import tiktoken
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.document_loaders.markdown import UnstructuredMarkdownLoader

# 加载文档（让 Markdown 按结构解析（标题、段落、列表分开））
loader = UnstructuredMarkdownLoader("test.md", mode="elements")
documents = loader.load()

# 设置基于token的文本分割器
splitter = CharacterTextSplitter.from_tiktoken_encoder(
    encoding_name="cl100k_base",
    chunk_size=120,
    chunk_overlap=50,  # 文档重叠长度
)

# 原始文本(一个document的page_content) → 编码成 token 序列 → 滑动窗口切分 → 解码成 chunk
# [0,1,...,119][70,...,189][140,...,299] → "chunk1" "chunk2" "chunk3"

# 分割文档
chunks = splitter.split_documents(documents)

# 初始化嵌入模型
embeddings = GoogleGenerativeAIEmbeddings(model="gemini-embedding-001")

# 把document变成文档转化成向量
# 先把document内容变成列表然后传给embeddings模型
texts = [doc.page_content for doc in chunks]

# 使用 embed_documents 方法生成向量
embeddings_vector = embeddings.embed_documents(texts)

# 向量个数
print(f"向量个数: {len(embeddings_vector)}")

# 向量维度
print(f"向量维度: {len(embeddings_vector[0])}")

# 打印第一个向量的前五个元素
print(f"第一个向量的前五个元素: {embeddings_vector[0][:5]}")
```

**代码流程解析**：

1. **加载文档**：使用 UnstructuredMarkdownLoader 加载 Markdown 文件
2. **文本分割**：使用 Token 分割器将文档切分成小块（每块约 120 个 token）
3. **提取文本**：从 Document 对象中提取纯文本内容
4. **生成向量**：使用 `embed_documents()` 方法批量生成向量
5. **查看结果**：打印向量个数、维度和前五个元素

**输出示例**：
```
向量个数: 15
向量维度: 768
第一个向量的前五个元素: [0.023, 0.847, -0.129, 0.456, -0.234]
```

### 1.3.2 生成查询向量（embed_query.py）

```python
from langchain_google_genai import GoogleGenerativeAIEmbeddings

# 初始化嵌入模型
embeddings = GoogleGenerativeAIEmbeddings(model="gemini-embedding-001")

# 进行query
query = "什么是 Claude Skills？"
query_embedding = embeddings.embed_query(query)

print(f"查询向量维度: {len(query_embedding)}")
print(f"查询向量前五个元素: {query_embedding[:5]}")
```

**输出示例**：
```
查询向量维度: 768
查询向量前五个元素: [0.013370583, 0.0038776519, 0.023095153, -0.07541514, -0.012306148]
```

**代码说明**：
- 使用 `embed_query()` 方法将单个查询文本转换为向量
- 输出是一维列表，表示查询的向量表示
- 这个向量可以用于后续的相似度搜索

---

## 1.4 两个方法的对比

| 特性 | embed_documents() | embed_query() |
|------|------------------|---------------|
| **用途** | 处理文档集合 | 处理单个查询 |
| **输入** | 多个文本 `List[str]` | 单个文本 `str` |
| **输出** | 二维列表 `List[List[float]]` | 一维列表 `List[float]` |
| **使用场景** | 知识库构建、批量向量化 | 用户查询、实时搜索 |
| **示例** | `["文档1", "文档2"]` | `"什么是AI？"` |
| **调用时机** | 离线构建向量数据库 | 在线查询处理 |

---

## 1.5 RAG完整工作流程



**`1·【离线构建】`**
1. 文档加载 → 2. 文本分割 → 3. embed_documents() → 4. 存储到向量数据库

**`2·【在线检索】`**

 5. 用户查询 → 6. embed_query() → 7. 相似度搜索 → 8. 返回相关文档





---

## 1.6 常用嵌入模型

### OpenAI Embeddings

```python
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(
    model="text-embedding-3-large",  # 3072维
)
```

### Google Gemini Embeddings

```python
from langchain_google_genai import GoogleGenerativeAIEmbeddings

embeddings = GoogleGenerativeAIEmbeddings(
    model="gemini-embedding-001"  # 768维
)
```

### HuggingFace Embeddings（开源免费）

```python
from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2"
)
```

---



## 1.7 总结

### 核心要点

1. **嵌入模型**将文本转换为向量，使计算机能够理解语义
2. **embed_documents()** 用于批量处理文档，**embed_query()** 用于处理单个查询
3. **向量维度**影响精度和性能，需要根据场景选择
4. **向量相似度**可以用于语义搜索、推荐系统等应用




在向量空间中，嵌入技术是机器学习中的一种重要技术，它可以将文本、图片、音频等非结构化数据转换为数值向量（向量就是一个数字列表），从而使计算机能够理解和处理这些数据。

LangChain向量嵌入从入门到实战：一文搞懂文本向量化、语义搜索与RAG全流程

人工智能

编程语言

后端

文本嵌入技术将非结构化数据转换为数值向量，实现语义搜索、推荐系统等功能。嵌入模型通过embed_documents()和embed_query()方法分别处理文档和查询，计算向量相似度提升搜索准确性。支持OpenAI、Google Gemini等主流模型，适用于RAG流程和知识库构建。

向量数据库

结构化数据

机器学习

深度学习

数据转换

数据库

Python

2026采购季 | AI焕新·智启新局

tencentdb-catalog

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

LangChain向量嵌入从入门到实战：一文搞懂文本向量化、语义搜索与RAG全流程-腾讯云开发者社区-腾讯云

LangChain向量嵌入从入门到实战：一文搞懂文本向量化、语义搜索与RAG全流程

LangChain向量嵌入从入门到实战：一文搞懂文本向量化、语义搜索与RAG全流程

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐