大多数的LLM应用程序都会有一个会话接口，允许我们和LLM进行多轮对话，并有一定的上下文记忆功能。但实际上，模型本身时不会记忆任何上下文的，只能依靠用户本身的输入去产生输出。而实现这个记忆功能，就需要额外的模块去保存我们和模型对话的上下文信息，然后在下一次请求时，把所有的历史信息都输入给模型，让模型输出结果。

所以为LLM添加记忆其实非常简单，就是在`Prompt`中预留`chat_history`占位符，将`Human/Ai` 的历史对话信息插入到占位符中，并且实时保存`Human/Ai`的对话信息，在每一次对话时插入到预留占位符即可完成最简单的记忆功能。

流程如下：

![1.png](https://developer.qcloudimg.com/http-save/yehe-10334881/5c0d9124d5169eda568c0f5d0b5724f0.png)

### 常见记忆模式

基于在`Prompt`中插入记忆内容，可以划分成几种记忆模式，例如: 缓冲记忆、缓冲窗口记忆、令牌缓冲记忆、摘要总结记忆、摘要缓冲混合记忆、实体记忆、向量存储库记忆等，不同的记忆模式有不同的适用场景。

#### 1、缓冲记忆

最基础的记忆模式，将所有`Human/Ai`生成的消息全部存储起来，每次需要使用时将保存的所有聊天消息列表传递到`Prompt`中，通过往用户的输入中添加历史对话信息/记忆，可以让LLM能理解之前的对话内容，而且这种记忆方式在上下文窗口限制内是无损的。

![2.png](https://developer.qcloudimg.com/http-save/yehe-10334881/85ea7443e3d7426884070863a4bd96a0.png)

**优点:**

*   无损记忆，用户输入什么内容都会被记忆;
*   实现方式简单，兼容性最好，所有大模型都支持。

**缺点:**

*   直接将存储的所有内容给LLM，因为大量信息意味着新输入中包含更多的Token，导致响应时间变慢和成本增加。
*   当达到LLM的令牌数限制时，太长的对话无法被记住。
*   记忆内容不是无限的，对于上下文长度较小的模型来说，记忆内容会变得极短。

#### 2、缓冲窗口记忆

缓冲窗口记忆只保存最近的几次Human/Ai生成的消息，它基于缓冲记忆思想，并添加了一个窗口值k，这意味着只保留一定数量的过去互动，然后”忘记"之前的互动。

![3.png](https://developer.qcloudimg.com/http-save/yehe-10334881/c205c7da96035352d0a1c22672862310.png)

**优点:**

*   缓冲窗口记忆在限制使用的Token数量表现优异。
*   对小模型也比较友好，不提问比较远的关联内容，一般效果最佳。
*   实现方式简单，性能优异，所有大模型都支持。

**缺点:**

*   缓冲窗口记忆不适合遥远的互动，会忘记之前的“互动”。
*   部分对话内容长度较大，容易超过LLM的上下文限制。

#### 3、令牌缓冲记忆

缓冲窗口记忆只保存限定次数Human/Ai生成的消息，它基于缓冲记忆思想，并添加了一个令牌数max\_tokens，当聊天历史超过令牌数时，会遗忘之前的互动。

![4.png](https://developer.qcloudimg.com/http-save/yehe-10334881/98255cc31fd987293b9730af05b4220d.png)

**优点:**

*   可以基于大语言模型的上下文长度限制分配记忆长度。
*   对小模型也比较友好，不提问比较远的关联内容，一般效果最佳。
*   实现方式简单，性能优异，所有大模型都支持。

**缺点:**

*   令牌缓冲记忆不适合遥远的互动，会忘记之前的“互动”。

#### 4、摘要总结记忆

除了将消息传递给LLM，还可以将消息进行总结，每次只传递总结的信息，而不是完整的消息。这种模式记忆对于较长的对话最有用，可以避免过度使用Token，因为将过去的信息历史以原文的形式保留在提示中会占用太多的Token。

![5.png](https://developer.qcloudimg.com/http-save/yehe-10334881/e843710b04773782e4714a541f805f30.png)

**优点:**

*   无论是长期还是短期的互动都可以记忆(模糊记忆).
*   减少长对话中使用Token的数量，能记忆更多轮的对话信息。
*   长对话时效果明显，虽然最初使用Token数量较多，随着对话进行，摘要方法增长速度减慢，与常规缓冲内存模型相比具有优势。

**缺点:**

*   虽然能同时记住近期和长远的互动内容，但是记忆的细节部分会丢失;
*   对于较短的对话可能会增加Token使用量。
*   对话历史的记忆完全依赖于中间摘要LLM的能力，需要为摘要LLM分配Token，增加成本且未限制对话长度。

#### 5、摘要缓冲混合记忆

摘要缓冲混合记忆结合了摘要总结记忆与级冲窗口记忆，它旨在对对话进行摘要总结，同时保留最近互动中的原始内容，但不是简单地清除旧的交互，而是将它们编译成摘要并同时使用，并且使用标记长度而不是交互数量来确定何时清除交互。

![6.png](https://developer.qcloudimg.com/http-save/yehe-10334881/49f5cb8eb70039ec260c394c2cab9872.png)

**优点:**

*   无论是长期还是短期的互动都可以记忆，长期为模糊记忆，短期为精准记忆。
*   减少长对话中使用Token的数量，能记忆更多轮的对话信息。

**缺点:**

*   长期互动的内容仍然为模糊记忆。
*   总结摘要部分完全依赖于中间摘要LLM的能力，需要为摘要LLM分配Token，增加成本且未限制对话长度。

#### 6、向量数据库记忆

将记忆存储在向量存储中，并在每次调用时查询前K个最匹配的文档。这类记忆模式能记住所有内容，在细节部分比摘要总结要强，但是 比缓冲记忆弱，消耗Token方面相对平衡。

![7.png](https://developer.qcloudimg.com/http-save/yehe-10334881/3ad34e4a8755663f52fbe6812663404b.png)

**优点:**

*   拥有比摘要总结更强的细节，比缓冲记忆能记忆更多的内容，甚至无限长度的内容;
*   消耗的Token也相对平衡;

**缺点:**

*   性能相比其他模式相对较差，需要额外的Embedding+向量数据库支持。
*   记忆效果受检索功能的影响，好的非常好，差的非常差。


大多数的LLM应用程序都会有一个会话接口，允许我们和LLM进行多轮对话，并有一定的上下文记忆功能。但实际上，模型本身时不会记忆任何上下文的，只能依靠用户本身的输入去产生输出。而实现这个记忆功能，就需要额外的模块去保存我们和模型对话的上下文信息，然后在下一次请求时，把所有的历史信息都输入给模型，让模型输出结果。

别再盲目套用缓冲记忆了！你的LLM应用该用哪种记忆模式？

缓冲记忆、窗口记忆、令牌限制、摘要总结、混合记忆、实体记忆、向量存储库——哪种最适合你的应用？本文逐一对比它们的优缺点，附决策流程图，帮你快速选型。

Go开发工程师

人工智能

后端

算法

LLM记忆功能通过Prompt中的chat_history占位符实现，主要包含缓冲记忆、窗口记忆、令牌缓冲、摘要记忆等模式。缓冲记忆保留完整对话但消耗Token多，窗口记忆仅保留最近对话，摘要记忆压缩历史信息。向量数据库记忆支持无限长度但性能较差。不同记忆模式各具优势，需根据应用场景选择合适方案。

向量数据库

数据库

2026采购季 | AI焕新·智启新局

tencentdb-catalog

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

别再盲目套用缓冲记忆了！你的LLM应用该用哪种记忆模式？-腾讯云开发者社区-腾讯云

别再盲目套用缓冲记忆了！你的LLM应用该用哪种记忆模式？

别再盲目套用缓冲记忆了！你的LLM应用该用哪种记忆模式？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐