AI「记忆」全景解读:三大形态、六大操作

我爱免费

作者：微信文章

#人工智能 #大模型 #记忆 #综述

「记忆」在当前的AI领域是一个非常核心的话题，也极具挑战性。我们根据一篇比较新的综述论文，来全景式地了解一下这个领域。

作者首先将 AI 中的记忆表征划分为三大类：参数化记忆、上下文非结构化记忆和上下文结构化记忆。在此基础上，进一步定义了六种核心的记忆操作：巩固 (Consolidation)、更新 (Updating)、索引 (Indexing)、遗忘 (Forgetting)、检索 (Retrieval) 和压缩 (Compression)。通过这个「表征类型 + 操作」的框架，论文系统梳理了长期记忆、长上下文处理、参数化修改以及多源记忆这四个关键研究领域的相关工作、基准数据集和工具。为研究者提供一个关于 AI 记忆的结构化和动态的视角，阐明其在大型语言模型 (LLM) 智能体中的功能交互。

论文：[2505.00675] Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions

一、为什么 AI 的记忆如此重要？

如果你的朋友每次和你聊天都像第一次认识你一样，完全不记得你之前的谈话内容、你的喜好、你的经历，你会是什么感觉？

对于 AI 系统，尤其是那些需要和我们进行长期、复杂交互的 AI 智能体 (LLM-based Agents) 来说，记忆同样至关重要。没有记忆，AI 就：

无法保持对话连贯性：每次对话都从零开始，无法理解上下文。无法提供个性化服务：不记得你的偏好，就无法提供定制化的建议或内容。无法从经验中学习：不能记住过去的成功与失败，就难以进步和适应新情况。无法执行长期任务：需要多步骤、长时间才能完成的任务，如果没有记忆来追踪进度和中间状态，根本无法完成。

简单来说，记忆是 AI 实现更高层次智能、与人类进行更自然和深度交互的基石。

目前关于 AI 记忆的研究五花八门，各种方法和术语层出不穷，缺乏一个统一的视角来审视。这篇论文的作者们正是意识到了这个问题，试图为我们构建一个理解 AI 记忆的统一框架。
二、给 AI 的记忆分分类：三种核心记忆形态

论文首先提出，AI 系统中的记忆，从其表征形式来看，可以分为三大类。这就像我们把知识和信息以不同的方式存储起来一样。

我们可以用一张图来更直观地理解这三种记忆类型：


2.1 参数化记忆 (Parametric Memory)

这种记忆是我们最常接触到，但又最「隐形」的一种。它指的是知识被隐式地存储在 AI 模型的内部参数（权重）中。这些参数是模型在海量数据上进行预训练（比如 GPT 系列模型的训练过程）或后续微调时学习到的。

好比我们人类通过长期学习和生活经验内化到大脑深处的知识、技能和直觉。比如，你学会了骑自行车，这个技能就成了你身体记忆的一部分，你不需要刻意思考就能骑起来。或者你掌握的母语语法，能自然地说出流利的句子。LLM 通过预训练记住的「世界知识」（比如「法国的首都是巴黎」）就属于这类。
2.2 上下文非结构化记忆 (Contextual Unstructured Memory)

这是一种显式的、支持多种信息形态（模态）的记忆系统。它存储的是未经深度加工的原始信息，比如文本对话历史、用户输入的图片、一段音频或视频片段。

就像一个人的日记、相册、聊天记录或者录音笔。这些都记录了原始的、未经系统整理的各种信息。AI 助手在和你聊天时，你之前说过的话（对话历史）就是一种典型的上下文非结构化记忆。
2.3 上下文结构化记忆 (Contextual Structured Memory)

这也是一种显式的记忆，但与非结构化记忆不同，它的信息是以预定义的、有组织、可解释的格式存储的。常见的形式包括知识图谱 (Knowledge Graphs)、关系型数据库表格 (Relational Tables)、本体 (Ontologies) 等。

好比一个精心组织的图书馆目录系统、一个详细的数据库、或者一个家族的族谱。信息都按照一定的规则分门别类，查找起来非常方便和准确。例如，AI 系统可以查询一个知识图谱来回答「某某公司的 CEO 是谁？」这类问题。

理解了这三种基本的记忆形态，我们接下来看看 AI 是如何「操作」这些记忆的。
三、AI 记忆的六大核心操作

仅仅把信息存起来还不够，AI 还需要对这些记忆进行有效的管理和利用。论文借鉴了认知心理学的思想，将 AI 的记忆操作分为了两大类共六种：
3.1 记忆管理 (Memory Management)

这类操作主要负责记忆的存储、维护和清理。

操作 1：巩固 (Consolidation)

将短期的、临时的经验或信息，转化为更持久、更稳定的记忆形式。这可能涉及到将对话要点存入长期知识库，或者通过持续学习将新知识融入模型参数。实现长期学习、个性化、构建持久知识体系的关键。例子：一个智能学习助手在和学生多次互动后，总结出学生的薄弱知识点，并将其记录到学生的「学习档案」（持久记忆）中。

操作 2：索引 (Indexing)

为存储的记忆内容创建「目录」或「标签」，以便未来能够快速、准确地找到它们。索引可以基于内容的关键词、实体、属性，甚至是时间戳或关系结构。提高记忆检索的效率和准确性，尤其是在记忆库庞大时。例子：一个客服机器人的对话记录系统，可能会根据用户 ID、对话时间、涉及的产品、问题类型等信息建立索引。

操作 3：更新 (Updating)

当出现新的信息、或者发现原有记忆有误时，对已有的记忆内容进行修改、补充或替换。对于参数化记忆，这可能意味着「模型编辑」；对于上下文记忆，可能是修改数据库条目或重写一段文本摘要。保持记忆的准确性和时效性，使 AI 能够适应变化的环境和知识。例子：世界知识是会变的（比如某公司换了 CEO），AI 的记忆也需要随之更新。如果 AI 之前记住了「A 公司 CEO 是张三」，当新 CEO 李四上任后，这条记忆就需要被更新。

操作 4：遗忘 (Forgetting)

选择性地移除或抑制那些过时的、不相关的、错误的，甚至是用户要求删除的（如出于隐私考虑）记忆内容。这有助于保持记忆库的「清洁」和高效。避免信息过载，减少无关信息的干扰，保护用户隐私，提升记忆系统的整体性能。例子：用户要求 AI 助手删除其所有的个人聊天记录，AI 系统就需要执行遗忘操作。或者，一个新闻推荐 AI 可能会「遗忘」用户很久以前表现出兴趣但现在已不再关注的话题。

3.2 记忆利用 (Memory Utilization)

这类操作主要负责在需要时提取和使用已存储的记忆。

操作 5：检索 (Retrieval)

当 AI 面临一个任务或查询时（比如用户提问），从其记忆库中（无论是参数化的还是上下文的）识别并提取出最相关的记忆内容。这是 AI 利用记忆来辅助思考、决策和生成回应的前提。例子：用户问 AI：「我上次跟你聊到我喜欢吃什么来着？」 AI 需要检索之前的对话历史（上下文非结构化记忆）来找到答案。

操作 6：压缩 (Compression)

在保留核心和关键信息的前提下，减少记忆内容的体积。这对于处理长序列输入（比如一篇很长的文章）或者在有限的存储/计算资源下高效利用记忆非常重要。解决 LLM 上下文窗口限制问题，提高信息处理效率，节省存储成本。例子：AI 阅读一篇长篇报告后，生成一份简短的核心摘要，这就是一种记忆压缩。或者在将长对话历史送入 LLM 前，先进行关键信息提取和压缩。

3.3 举例说明

这六种操作共同构成了 AI 记忆系统的动态生命周期。我们可以用一个简化的流程图来示意它们在一个典型交互中的协同作用：


四、融会贯通：AI 记忆在四大前沿阵地的应用

理解了记忆的类型和操作之后，论文进一步将这个框架应用到了当前 AI 记忆研究的四个核心主题上。通过对这四大主题的分析，论文清晰地展示了其提出的记忆分类和操作框架是如何将纷繁复杂的研究工作有机地组织起来的。


4.1 长期记忆 (Long-Term Memory)

长期记忆针对问题的是： AI 系统如何存储、管理和利用跨越多次交互、甚至很长时间跨度的信息。目标是让 AI 像人一样，能够记住过去的经验，并用于指导未来的行为，实现真正的个性化和持续学习。



图例说明（后面的图同理）：

粉色节点代表「记忆类型」；蓝色节点代表「核心记忆操作」；绿色节点代表「典型应用」；

4.2 长上下文记忆 (Long-Context Memory)

长上下文记忆用于 AI 系统处理和理解非常长的输入序列，比如整本书、万字长文、数小时的会议记录等。主要关注上下文非结构化记忆的处理，也与参数化记忆的利用效率（如 Transformer 中的 KV 缓存）有关。核心操作是压缩与检索。


4.3 参数化记忆修改 (Parametric Memory Modification)

直接对 AI 模型（尤其是 LLM）内部参数中存储的知识进行修改。这就像对 AI 的「大脑」进行外科手术。核心记忆类型是参数化记忆。主要操作涉及更新、遗忘和巩固。


4.4 多源记忆 (Multi-Source Memory)

多源记忆主要针对的问题是，AI 系统如何整合和利用来自不同来源、不同类型（甚至不同模态）的记忆信息进行推理和决策。涉及的记忆类型主要是上下文结构化记忆（如知识图谱、数据库）和上下文非结构化记忆（如网页文本、用户对话），有时也需要结合模型自身的参数化记忆（先验知识）。核心记忆操作包括检索、更新和巩固。


五、AI 记忆的工具生态

为了支持 AI 记忆的研究和应用，学术界和工业界已经发展出了一系列工具。论文将这些工具分为了几个层次：



这个工具生态的不断发展，正在让构建更强大记忆能力的 AI 系统变得越来越容易。
六、现有研究综述

6.1 分类视图


6.2 RCI 指数：如何衡量论文的影响力？

论文作者们在筛选和分析相关研究时，用了一个叫做「相对引用指数 (Relative Citation Index, RCI)」的指标。为什么要用这个呢？因为直接比较不同时间发表论文的引用次数是不公平的——老论文自然有更多时间积累引用。RCI 通过考虑论文的「年龄」，来更客观地评估一篇论文在其发表时间段内的相对影响力。

其核心思想是比较一篇论文的实际引用数 () 与其年龄对应的预期引用数 ()。 计算步骤大致如下：

计算论文年龄 。通过对大量论文数据进行回归分析，建立引用数与年龄的关系模型，估算出参数  和 ：计算预期引用数： ，这个公式怀疑是写错了，通常指数增长模型会是乘法关系 。计算相对引用指数:

如果 ，说明这篇论文的影响力高于同龄论文的平均水平。这篇综述主要关注的就是这些高 RCI 的研究。
七、未来的挑战与方向

时空记忆 (Spatio-temporal Memory)：AI 不仅要记住「是什么」，还要记住「在何时何地」发生，以及这些信息如何随时间演变。这对于理解动态世界、进行长期规划至关重要。比如，AI 需要记住用户上个月喜欢 A，但这个月可能因为某个事件转而喜欢 B 了。参数化记忆检索 (Parametric Memory Retrieval)：虽然我们知道 LLM 的参数中蕴含了大量知识，但如何让模型能够像查询外部数据库一样，有选择性地、可控地从其自身参数中「检索」出特定的潜藏知识，仍然是一个开放的挑战。终身学习 (Lifelong Learning)：构建能够像人一样持续学习新知识、适应新环境，同时不遗忘重要旧知识的 AI 系统。这需要参数化记忆、上下文结构化记忆和非结构化记忆的深度整合与协同管理，平衡学习的「可塑性」与记忆的「稳定性」。脑启发记忆模型 (Brain-Inspired Memory Models)：从生物大脑（尤其是人脑）的记忆机制中汲取灵感。例如，海马体负责快速编码情景记忆，而大脑皮层负责缓慢整合形成长期稳定的语义记忆，这种「互补学习系统」对 AI 很有启发。还有像记忆的层级结构（如 Minsky 的 K-Line 理论）、记忆再巩固等认知概念，都可能为构建更鲁棒、更高效的 AI 记忆提供新思路。统一记忆表示 (Unified Memory Representation)：目前参数化记忆和外部的上下文记忆（结构化/非结构化）往往是分离的。未来需要发展能够统一表示和联合索引这些不同形式记忆的框架，实现它们之间更无缝的信息流动和转化。多智能体记忆 (Multi-agent Memory)：在多个 AI 智能体协作的系统中，记忆不仅是个体的，也是分布式的。如何实现记忆的共享、对齐、冲突解决以及集体记忆的形成与巩固，是未来多智能体系统发展的关键。记忆的威胁与安全 (Memory Threats & Safety)：AI 的记忆中可能存储大量敏感和机密数据。如何确保记忆操作（尤其是更新和遗忘）的安全性、可靠性，防止恶意篡改、信息泄露、以及「反学习」操作被攻击者利用，是未来必须高度重视的问题。