RAG原理总结

准备工具：

• PDFReader：读取文档并拆分为片段
• 向量大模型：将文本片段向量化
• 向量数据库：存储向量，检索向量

让我们梳理一下要解决的问题和解决思路：

• 要解决大模型的知识限制问题，需要外挂知识库
• 受到大模型上下文限制，知识库不能简单的直接拼接在提示词中
• 我们需要从庞大的知识库中找到与用户问题相关的一小部分，再组装成提示词
• 这些可以利用文档读取器、向量大模型、向量数据库来解决。

所以RAG要做的事情就是将知识库分割，然后利用向量模型做向量化，存入向量数据库，然后查询的时候去检索：

第一阶段（存储知识库）：

• 将知识库内容切片，分为一个个片段
• 将每个片段利用向量模型向量化
• 将所有向量化后的片段写入向量数据库

第二阶段（检索知识库）：

• 每当用户询问AI时，将用户问题向量化
• 拿着问题向量去向量数据库检索最相关的片段

第三阶段（对话大模型）：

• 将检索到的片段、用户的问题一起拼接为提示词
• 发送提示词给大模型，得到响应

PDF上传、下载、向量化

既然是ChatPDF，也就是说所有知识库都是PDF形式的，由用户提交给我们。所以，我们需要先实现一个上传PDF的接口，在接口中实现下列功能：

• 校验文件格式是否为PDF
• 保存文件信息
• 保存文件（可以是oss或本地保存）
• 保存会话ID和文件路径的映射关系（方便查询会话历史的时候再次读取文件）
• 文档拆分和向量化（文档太大，需要拆分为一个个片段，分别向量化）

另外，将来用户查询会话历史，我们还需要返回pdf文件给前端用于预览，所以需要实现一个下载PDF接口，包含下面功能：

• 读取文件
• 返回文件给前端