为什么你的AI记性差？Spring AI+Milvus这招绝了！

java金融

发布于 2026-04-28 13:08:12

1460

文章被收录于专栏：java金融java金融

你有没有遇到过这种情况？

你兴致勃勃地跟AI聊了一个复杂的项目，聊了半个多小时，把需求背景、技术选型、甚至数据库表结构都交代得清清楚楚。

结果，你只是去倒了一杯水回来，随口问了一句：“刚才说的那个用户表，字段名是什么？”

AI一脸无辜地回答你：“抱歉，我不知道你在说什么，请提供更多信息。”

那一刻，你是不是想砸了键盘？

这就是大模型的“金鱼记忆”。它虽然博古通今，能写诗能代码，但它天生“健忘”。因为它本身是无状态的，每一次对话对它来说都是全新的开始。

想要解决这个问题，不能靠它“死记硬背”，得给它装一个“外挂大脑”——这就是我们今天要聊的RAG（检索增强生成）架构，以及在这个架构中扮演核心记忆中枢的角色：Milvus向量数据库。

今天，我们就结合Spring AI框架，深入聊聊如何给AI装上这个“外挂”，让它从此过目不忘。

01

【从“失忆”到“博学”：AI到底缺了什么？】

要治好AI的“健忘症”，我们得先搞清楚它的记忆机制是怎么运作的。

大模型（比如GPT、DeepSeek）的训练数据是有截止日期的。如果你问它昨天发生的新闻，或者你公司内部的私有文档，它大概率是一问三不知。

这时候，有人会说：“那我直接把文档内容复制粘贴给AI不就行了？”

这确实是个办法，但有个巨大的坑：上下文长度限制。

大模型的“脑子”容量是有限的。如果你把几万字的文档直接塞给它，不仅费钱（Token很贵），而且很容易超出它的处理上限，导致它“读不过来”，甚至开始胡说八道。

这就是为什么我们需要向量数据库。

它的作用不是简单地把文本存起来，而是理解文本的“含义”。

02

【不仅仅是存储：揭秘向量数据库的“超能力”】

你可能熟悉MySQL、Redis这些传统数据库。它们擅长存储结构化数据，比如“名字叫张三，年龄25”。

但向量数据库（如Milvus）处理的是完全不同的东西。

在AI的世界里，文字、图片、音频都被转化成了一串长长的数字数组，这就是向量。

这串数字神奇的地方在于，它捕捉了内容的语义特征。

举个例子：

“苹果”公司的股票
“苹果”这种水果

在传统数据库里，它们都是字符串“苹果”。但在向量空间里，因为含义不同，它们在数学距离上离得很远。

再看这个：

“程序员写代码”
“软件开发者编程”

虽然字面不完全一样，但意思相近。在向量空间里，它们的距离非常近。

Milvus就是专门用来存储、索引和检索这些高维向量数据的。

它就像一个超级图书管理员，不是按书名的首字母排序，而是按书的“内容含义”摆放。当你问“怎么修电脑”时，它能立刻找到“计算机维修指南”，哪怕这两个句子里没有一个字是重复的。

这就是近似最近邻（ANN）算法的威力，Milvus采用了最先进的算法来加速这个过程，让搜索从“大海捞针”变成了“按图索骥”。

03

【为什么是Milvus？不仅仅是开源那么简单】

市面上的向量数据库不少，为什么我们要重点聊聊Milvus？

根据腾讯云开发者社区的解析，Milvus在开源和云服务领域都有很强的统治力。

全场景适配：它既能以开源软件形式在你的笔记本电脑上跑，也能通过云服务部署在大规模分布式系统上。
高性能索引：对于AI应用来说，速度就是生命。Milvus支持多种索引类型（如IVF、HNSW），能在毫秒级级别从数亿个向量中找出相似的数据。
AI原生友好：它是AI大模型的“物理基础”，专门为高维数据设计。

对于Java开发者来说，Spring AI框架的出现更是降低了接入Milvus的门槛。你不需要手写复杂的Python脚本，直接在熟悉的Spring Boot环境中，就能把Milvus玩转。

04

【架构设计：Spring AI如何串联这一切？】

在动手写代码之前，我们先理清思路。

一个基于Spring AI + Milvus的智能问答系统，核心流程是这样的：

数据摄入（准备记忆）：你有一堆本地文档（PDF、Word、Markdown）。 Spring AI调用嵌入模型，把文档切块并转化成向量。这些向量被写入Milvus数据库中存储起来。
用户提问（触发回忆）：用户问了一个问题。系统同样用嵌入模型把问题转化成向量。
相似性搜索（查找记忆）：拿着问题向量，去Milvus里找最相似的文档片段。
生成回答（组织语言）：把找到的文档片段作为“问题的背景”，连同用户的问题一起扔给大模型（如DeepSeek）。大模型根据这些背景信息，生成准确的回答。

这就是RAG架构的全貌。现在，我们来看看怎么落地。

05

【环境准备：从零搭建你的AI记忆库】

要实现这套流程，我们需要准备几个组件：

Java环境：JDK 17+
Spring Boot 3.x
Milvus数据库：可以本地Docker部署，也可以用云服务。
嵌入模型：用于将文本转为向量。

启动Milvus（Docker方式）

如果你想在本地测试，可以使用Docker快速启动一个Milvus实例。

【兼容性说明】

本文命令基于 Docker Engine 20.10+
请确保你的服务器内存至少在 4GB 以上
涉及容器管理，需谨慎操作

# 系统：Linux/macOS/Windows
# 权限：普通用户（需加入docker组）或 root
# 风险等级：🟡谨慎 - 下载镜像并启动容器
# 影响范围：本地Docker环境

# 1. 下载Milvus配置文件和Docker编排脚本
# 注意：具体命令需参考Milvus官方最新文档，以下为通用示例
$ wget https://github.com/milvus-io/milvus/releases/download/v2.3.0/milvus-standalone-docker-compose.yml -O docker-compose.yml
# 需验证：上述下载链接版本号需根据实际情况调整

# 2. 启动服务
$ docker-compose up -d

# 3. 检查状态
$ docker-compose ps

执行完成后，你应该能看到Milvus的相关容器正在运行。此时，一个拥有“长期记忆”的物理基础就已经准备好了。

06

【Spring Boot集成：配置你的“记忆中枢”】

接下来，我们进入Java世界。

在你的Spring Boot项目中，首先需要引入Spring AI的依赖。

【兼容性说明】

基于Spring Boot 3.x
Spring AI版本处于活跃迭代中，具体GroupId/ArtifactId需参考官方Maven仓库
以下配置项基于Spring AI通用标准

<!-- pom.xml -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-milvus-spring-boot-starter</artifactId>
    <!-- 需验证：请填写当前最新的稳定版本号 -->
    <version>1.0.0-M1</version>
</dependency>

然后是配置文件。我们需要告诉Spring AI，Milvus在哪里，以及我们要用哪个模型来生成向量。

# application.yml
spring:
  ai:
    vectorstore:
      milvus:
        client-host: "127.0.0.1" # Milvus服务地址
        port: 19530             # Milvus端口
        collection-name: "my_knowledge_base" # 集合名称，相当于表名
        index-type: "IVF_FLAT"  # 索引类型
        metric-type: "COSINE"   # 相似度计算方式：余弦相似度
    # 嵌入模型配置（需根据实际使用的模型如OpenAI或本地模型调整）
    embedding:
      # 需验证：此处配置取决于你使用的具体Embedding模型
      options:
        dimensions: 1536

这里有一个关键点：metric-type。

我们通常选择COSINE（余弦相似度）。因为它关注的是向量的方向（即语义的相似性），而不受向量长度（文本长短）的影响。这对于文本匹配来说非常重要。

07

【核心实战：写入与检索的代码逻辑】

配置好了，怎么用代码把数据“喂”给它，再让它“吐”出来呢？

1. 写入记忆（数据摄入）

假设我们有一段技术文档，需要存入Milvus。

【兼容性说明】

代码逻辑基于Spring AI标准接口设计
具体类名如MilvusVectorStore需根据引入的包名确认
需处理异常情况

// 环境：Java 17+
// 依赖：spring-ai-core, spring-ai-milvus
// 注意：请在Service层调用

import org.springframework.ai.document.Document;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.ai.vectorstore.SearchRequest;
import java.util.List;
import java.util.Map;

@Service
public class KnowledgeBaseService {

    // 需验证：Spring AI会自动注入配置好的VectorStore实现
    private final VectorStore vectorStore;

    public KnowledgeBaseService(VectorStore vectorStore) {
        this.vectorStore = vectorStore;
    }

    /**
     * 添加文档到向量库
     */
    public void addDocument(String textContent, String id) {
        try {
            // 创建Document对象
            // 可以在metadata中存放额外的信息，比如来源、作者
            Document document = new Document(id, textContent, Map.of("source", "internal_doc"));
            
            // 写入向量库
            // Spring AI会自动调用Embedding模型将text转为向量并存入Milvus
            vectorStore.add(List.of(document));
            
        } catch (Exception e) {
            // 需验证：根据实际业务需求处理异常
            System.err.println("文档写入失败：" + e.getMessage());
        }
    }
}

这段代码看起来很简单，但背后发生了很多事：

Spring AI拿到了你的文本。
调用了配置好的Embedding模型（比如DeepSeek的Embedding或OpenAI的）。
拿到了返回的向量数组。
连接Milvus，将向量和原始文本一起存了进去。

2. 检索记忆（相似性搜索）

当用户提问时，我们不需要遍历所有文档，只需要进行一次“相似性搜索”。

    /**
     * 根据问题搜索相关文档
     */
    public List<Document> searchRelevantDocs(String query, int topK) {
        try {
            // 构建搜索请求
            // 需验证：SearchRequest的具体构建方式可能随版本变化
            SearchRequest request = SearchRequest.query(query)
                    .withTopK(topK) // 返回最相似的K条结果
                    .withSimilarityThreshold(0.7); // 相似度阈值，过滤掉不相关的

            // 执行搜索
            // 同样，Spring AI会自动将query转为向量去Milvus里搜
            return vectorStore.similaritySearch(request);

        } catch (Exception e) {
            System.err.println("搜索失败：" + e.getMessage());
            return List.of();
        }
    }

通过设置similarityThreshold，我们可以过滤掉那些相似度不高的结果，确保给到大模型的“背景材料”都是高质量的，避免误导AI。