一、研究背景与问题

研究背景：

• LLM（大型语言模型）代理正成为人工智能发展的重要方向

• 代理记忆是使代理能从环境交互中持续学习、自我进化的关键机制

• 现有代理记忆范式存在根本性局限

现有范式的缺陷：

核心研究问题：

如何将代理记忆构建为一种动态的认知能力，使其能够进行流畅的、重构性的过程，并与推理无缝交织？

二、核心创新：MemGen 框架

MemGen 是一个动态生成式记忆框架，由两个协同组件构成：

1. 记忆触发器（Memory Trigger）

• 作用：元认知监视器，监控代理推理状态，决定何时调用记忆

• 实现：轻量级 LoRA 适配器，通过强化学习训练

• 策略：仅在句子边界（逗号、句号等分隔符）处决策，保证效率

• 目标：平衡"关键时机调用记忆"与"避免过度调用"两个竞争目标

2. 记忆编织器（Memory Weaver）

• 作用：接收代理当前认知状态，生成定制的机器原生潜在记忆

• 实现：LoRA 适配器，可通过 SFT 或 GRPO 训练

• 输出：固定长度 K 的潜在令牌序列（机器原生，非人类可读）

• 特性：生成式重构（非简单检索），选择性综合与过滤

关键运作流程：

推理器生成令牌 → 触发器监控隐藏状态 → 触发调用 → 编织器合成潜在记忆 → 记忆前置到上下文 → 推理器继续生成（条件化于记忆）

形成"生成→监控→调用→编织→重新整合"的递归循环，核心推理器保持冻结。

三、实验验证

实验设置：

• 骨干模型：SmolLM3-3B, Qwen2.5-1.5B, Qwen3-8B

• 基准测试：ALFWorld, TriviaQA, PopQA, KodCode, BigCodeBench, GPQA, GSM8K, MATH, ScienceWorld, FEVER 等

• 基线对比：涵盖参数化记忆（SFT, GRPO, REINFORCE++）和基于检索的记忆（ExpeL, MemoryBank, AWM 等）两大类

主要发现：

1. 显著性能提升

• ALFWorld 提升高达 31.7%，KodCode 提升 27.1%

• 超越 ExpeL 和 AWM 达 38.22%，超越 GRPO 达 13.44%

• 在所有八个基准测试上均取得最佳或次佳结果

2. 强大跨域泛化

• 在数学领域训练后，科学推理提升 6.06%，代码生成提升 5.1%

• 基线方法（如 SFT）在训练领域提升但在其他领域大幅下降（如 FEVER 下降 16.2%）

• MemGen 有效缓解领域迁移时的性能退化

3. 持续学习能力

• 顺序学习 AQuA → GPQA → GSM8K → KodCode 四个任务

• 在先前任务上的性能保持显著优于 SFT 和 ExpeL

• 例：在 KodCode 训练后，AQuA 上保持 40.34%（SFT 仅 28.61%，ExpeL 仅 27.14%）

4. 高效推理

• 每查询推理延迟仅为 vanilla LLM 的 24%~94%

• 性能提升高达 57.66%，同时降低延迟（生成更少但更有效的令牌）

四、关键机制分析与可解释性

RQ2：触发器智能决策

• 触发器在不同领域的调用频率不同，与性能提升直接相关

• GSM8K（训练域）调用频率最高，性能提升最大

• 编码和科学推理域调用模式自适应调整，缓解领域冲突

RQ4：自发形成类人记忆层级（最重要的理论发现）

通过 t-SNE 可视化 + K-means 聚类 + 事后干预实验，发现 MemGen 在没有显式监督的情况下自发形成了结构化的记忆层级：

移除特定簇的潜在记忆会导致对应失败模式的显著增加，如移除 Cluster 2 会增加规划失败和组合推理失败；移除 Cluster 3 会增加工具响应/解析/格式化错误。

关键意义：这表明机器智能可能自发向更自然的、类人的认知形态演进，为构建真正具有人类认知特征的 AI 系统提供了实证基础。

五、技术创新总结

1. 范式突破：提出第三种记忆范式——动态生成式潜在记忆，超越参数化记忆（修改参数）和基于检索的记忆（外部存储）的二分法

2. 机器原生记忆：使用潜在令牌序列（而非自然语言）作为记忆载体，实现高密度、高效的信息存储

3. 推理-记忆深度交织：在令牌级别实现记忆的动态插入，而非仅在任务开始时一次性检索

4. 模块化设计：推理器完全冻结，仅训练轻量级 LoRA 适配器（触发器和编织器），避免灾难性遗忘

5. 框架兼容性：可与 SFT、GRPO 等不同优化策略结合，可集成外部检索系统

六、研究意义与影响

理论意义：

• 首次证明可通过简单的 RL 训练使代理自发形成类人记忆层级

• 为"机器认知如何向自然认知演化"提供了实证路径

• 挑战了"记忆必须显式建模为可读文本"的隐含假设

实践意义：

• 为构建能持续学习、跨域泛化、不遗忘的自进化代理提供了可行方案

• 推理延迟不升反降，兼具性能与效率

• 框架对骨干模型和优化策略无特殊要求，易于部署

MemGen 不仅是一种性能更优的方法，更重要的是展示了一种新的设计哲学——让机器以"机器自己的方式"（机器原生潜在状态）来存储和调用记忆，而非强制将记忆表达为人类可读形式。这为通用人工智能（AGI）的自我进化路径提供了重要启示。 MemGen 通过动态生成式潜在记忆实现了推理与记忆的深度交织，在性能、泛化、持续学习上全面超越现有范式，并自发演化出类人的记忆层级结构，为自进化 AI 代理开辟了新方向。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要：
代理记忆塑造了基于大型语言模型（LLM）的代理如何像人类大脑一样，通过与环境的交互逐步完善自身。现有的范式仍受限于：参数化记忆强制调整模型参数，而基于检索的记忆则将经验外部化到结构化数据库中，但这两种方式都无法捕捉到作为人类认知基础的推理与记忆之间那种流动的、相互交织的特性。为弥补这一空白，我们提出了 MemGen，一个动态生成式记忆框架，为代理配备类似人类的认知能力。它包含一个记忆触发器，用于监控代理的推理状态以决定是否显式调用记忆；以及一个记忆编织器，它将代理的当前状态作为刺激，构建一个潜在的令牌序列作为机器原生的记忆，以丰富其推理过程。通过这种方式，MemGen 使代理能够在整个推理过程中回忆和增强潜在记忆，从而形成一个记忆与认知紧密交织的循环。在八个基准测试上的大量实验表明，MemGen 超越了领先的外部记忆系统，如 ExpeL 和 AWM，提升幅度高达 38.22%，超过 GRPO 达 13.44%，并展现出强大的跨域泛化能力。更重要的是，我们发现，在没有显式监督的情况下，MemGen 自发地演化出独特的人类样记忆能力，包括规划记忆、程序性记忆和工作记忆，这表明了机器认知正朝着更自然的形态迈进的趋势。

1. 引言

基于大型语言模型（LLM）的代理的崛起标志着众多领域的范式转变。这一成功的关键在于代理记忆的概念，它使 LLM 代理能够从环境交互中逐步学习。至关重要的是，这种代理记忆的概念超越了对话代理（即个性化记忆）的范畴，后者主要作用是维持长周期、多轮对话的连贯性。相反，本文的主要范围是使代理能够内化经验、模拟类似人类的认知迭代，并逐步提升问题解决能力。

作为这种自进化引擎的记忆通常表现为两种主要范式。第一种是（I）参数化记忆，它通过直接更新代理的参数来内化经验。虽然这种方法能带来显著的性能提升，但其对参数修改的依赖不可避免地会导致灾难性遗忘，即通用知识的侵蚀。相反，第二种范式是（II）基于检索的记忆，它将过去的经验外部化到一个结构化数据库中，例如（i）原始轨迹，（ii）高级经验，以及（iii）如可复用 API 或 MCP 盒子等浓缩技能。尽管这种非侵入性方法规避了灾难性遗忘，但其有效性从根本上受限于上下文工程。它遵循严格的执行流程，向代理提供检索到的上下文，却无法实现真正内化记忆所特有的流畅、无缝集成。

图 1：参数化记忆、基于检索的记忆和 MemGen 之间的比较。（我们借鉴了 Li 等人（2025a）图1的布局设计。）

鉴于这些缺陷，潜在记忆提供了一种引人注目的替代方案，利用潜在状态作为一种机器原生的、高密度的记忆媒介。现有方法要么使用（i）键值缓存来维护动态记忆集，但这主要局限于解决长上下文问题；要么使用（ii）潜在令牌嵌入来存储代理经验，但这仍然依赖于侵入性的 LLM 参数更新。LatentSeek 和 SoftCoT 也属于这一类，利用潜在嵌入来引导代理生成。尽管如此，所有这些方法在两个关键维度上与人类认知存在差异：它们缺乏推理与记忆的无缝交织——即思维与记忆动态地相互塑造的过程；并且它们在很大程度上仍然是基于检索的，通过嵌入相似性获取记忆，而非生成性地将其重构为新颖、连贯的见解。这引出了我们的核心研究问题：

我们如何将代理记忆构建为一种动态的认知能力，使其能够进行流畅的、重构性的过程，并与推理无缝交织？

为应对这一挑战，我们引入了 MemGen，一个动态且生成式的记忆框架，旨在赋予任何 LLM 代理更接近人类的认知能力。MemGen 的核心是持续监控代理的认知状态，使其能够在推理过程中的任何关键时刻动态调用一个生成过程，以合成定制的潜在记忆。实际上，MemGen 包含两个协同组件：一个基于强化学习训练的记忆触发器，它充当元认知监视器，辨别显式调用记忆的适当时机；以及一个记忆编织器，它将代理的当前状态作为刺激，利用相关的隐式参数化记忆（可能辅以外部检索到的信息），然后将这种综合重构为简洁的、机器原生的潜在记忆。由于推理核心保持不变，MemGen 在接触新数据时从根本上减轻了灾难性遗忘，并且超越了先前记忆系统的静态和提取式范式，为代理配备了一种与推理核心深度集成的、流畅的生成能力。

实验观察。在九个基准测试和四类基线上的广泛实验表明，MemGen 带来了：
•显著的性能提升，在 ALFWorld 上提升高达 31.7%，在 KodCode 上使用 Qwen3-8B 提升高达 27.1%，超越了参数化记忆（REINFORCE++，+5.8%）和 GRPO 方法（+5.32%）；
•强大的跨域泛化能力，在数学领域训练不仅不会导致其他领域性能下降，反而能提升科学推理（+6.06%）和代码生成（+5.1%）的性能；
•持续学习能力，即使在额外三个领域上进行微调后，在先前训练过的领域上仍能保持稳定的性能。

分析与解读。除了定量评估，我们还试图解释 MemGen 学到的行为。通过事后干预研究，检查移除特定潜在记忆对代理不同失败模式的影响，我们发现 MemGen 自发地将其潜在记忆组织成一个结构化的、类似人类的层级结构，包括规划记忆、程序性记忆和工作记忆。这表明 MemGen 不仅提升了性能，而且为机器智能的发展开辟了一条更有前景的道路，使其更接近人类的认知方式。

2. 相关工作

LLM 与代理记忆。如第 1 节所述，为提升 LLM 代理问题解决能力而设计的现有记忆机制大致可分为三类：（I）参数化记忆，要么通过微调将过往经验直接整合到代理参数中，如 FireAct (Chen et al., 2023)、AgentLumos (Yin et al., 2024) 及其他工作 (Zhang et al., 2024a; Fu et al., 2025)，要么将其保存在外部参数模块中 (Tack et al., 2024; Wang et al., 2024a)；（II）基于检索的记忆，将先前经验抽象为可迁移的知识 (Zhang et al., 2025a; Zhao et al., 2024)，或将其提炼为可复用的工具和技能 (Zheng et al., 2025; Wang et al., 2025b; Qiu et al., 2025b,a)；以及（III）潜在记忆，利用隐式表示来编码和检索经验 (Wang et al., 2024b, 2025a; Hu et al., 2025b; Liu et al., 2024; Sun et al., 2025)。我们的 MemGen 属于潜在记忆范式，但区别于先前方法之处在于其更接近人类的推理与记忆交织方式，以及其生成式（而非纯检索式）的本质。

潜在计算。我们的方法也与潜在计算密切相关，后者利用潜在状态来干预或重塑 LLM 的推理过程 (Zhu et al., 2025)。主要的范式包括：（I）从架构上支持原生潜在推理，以 Coconut (Hao et al., 2024)、CODI (Shen et al., 2025)、LatentR3 (Zhang et al., 2025b) 和 CoLaR (Tan et al., 2025) 为代表，它们使 LLM 的推理过程本质上是潜在的、机器原生的；以及（II）利用潜在计算来引导 LLM 生成，如 LaRS (Xu et al., 2023)、LatentSeek (Li et al., 2025a)、SoftCoT (Xu et al., 2025c,b) 和 Coprocessor (Liu et al., 2024)，它们利用潜在表示来调节生成输出的质量。上述工作极大地启发了本文中潜在记忆的设计：潜在记忆同样可以被视为后者的一种实例化，为增强代理的问题解决能力补充必要的记忆上下文 (Wang et al., 2024b, 2025a)。

LLM 解码与强化学习。与我们工作相关的另外两个主题是 LLM 解码和强化学习。从解码的角度来看，MemGen 动态生成并插入潜在令牌，这与推测解码有相似之处，后者中一个草稿模型接收当前解码上下文并生成后续的草稿令牌 (Cai et al., 2024; Fu et al., 2024; Li et al., 2025b; Goel et al., 2025)。然而，这些方法主要旨在加速 LLM 推理，而 MemGen 则侧重于利用潜在状态作为记忆的有效载体。从强化学习的角度来看，MemGen 采用基于规则的强化学习来训练记忆触发器，这与具有可变奖励的强化学习密切相关，包括 DeepSeek-R1 中的 GRPO (DeepSeek-AI et al., 2025) 及其各种衍生方法 (Qian et al., 2025; Wu et al., 2025a; Wei et al., 2025; Fu et al., 2025)。虽然已有将强化学习与代理记忆结合的工作，但据我们所知，大多数并未涉及自我完善的记忆；例如，MemAgent (Yu et al., 2025) 和 MEM1 (Zhou et al., 2025) 侧重于处理长上下文输入，而非演化记忆机制。

3. 预备知识

4. 方法论

4.1 MemGen：交织记忆与推理

正如一个人是其过去经历的总和，记忆在塑造代理行为方面也起着关键作用。然而，现有的代理记忆系统通常缺乏人类认知的灵活性。在人类大脑中，推理和记忆形成一个无缝的连续体：前额顶控制网络中的主动推理与海马体和前额叶皮层中的记忆检索相互交织，产生连续的思想流。相比之下，许多代理记忆范式在任务开始时检索一次信息，并将其粗略地附加到查询上。MemGen 的设计正是为了弥补这一差距。

这种生成、监控、调用、编织和重新整合的迭代循环，将推理从线性展开提升为与记忆的递归对话，同时不改变冻结的推理器 πθ​，从而保留了其通用能力。在接下来的章节中，我们将详细描述记忆触发器（第 4.2 节）和记忆编织器（第 4.3 节）的实现。

图 2：我们提出的 MemGen 概览。

4.2 记忆触发器：学习调用记忆

4.3 记忆编织器：合成与插入潜在记忆

与基于检索的记忆的集成。尽管上述记忆生成主要依赖编织器的参数化知识，但它可以与外部记忆源结合。当被触发时，任何基于检索的系统（例如 MemoryBank, ExpeL）都可以提供文本记忆，这些文本记忆与编织器的参数化知识合并，以生成最终的潜在记忆。这种混合方法利用了两种范式的优势：外部检索提供了事实基础和覆盖范围，而编织器的生成能力则将这些信息综合、重构并适应于当前的推理上下文。第 E 节提供了这种集成的形式化描述和实验结果。

5. 实验

在本节中，我们进行了大量实验来回答以下研究问题：
• （RQ1）MemGen 能否超越参数化记忆和基于检索的记忆？
• （RQ2）MemGen 学到的记忆能否跨任务领域泛化？为什么？
• （RQ3）MemGen 能否促进持续学习并缓解灾难性遗忘？
• （RQ4）MemGen 是否隐式地演化出了类似人类的记忆层级？

5.1 实验设置

评估与基准测试。我们的评估涵盖了来自五个领域的九个数据集，包括❶网络搜索：TriviaQA (Joshi et al., 2017) 和 PopQA (Mallen et al., 2023)；❷具身行动：ALFWorld (Shridhar et al., 2021)；❸数学推理：AQuA (Ling et al., 2017)、GSM8K (Cobbe et al., 2021) 和 MATH (Hendrycks et al., 2021)；❹科学推理：GPQA (Rein et al., 2023)；以及❺代码生成：KodCode (Xu et al., 2025d) 和 BigCodeBench (Jain et al., 2024)。

基线方法。我们将 MemGen 与十二种基线方法进行比较，分为四组：（I）基于提示的方法：原始模型（Vanilla）、思维链（CoT）(Wei et al., 2023)；（II）参数化记忆，经验知识通过以下方式直接修改模型参数：SFT、GRPO (DeepSeek-AI et al., 2025)、REINFORCE (Williams, 1992)、REINFORCE++ (Hu et al., 2025a)、Agent-FLAN (Chen et al., 2024b)；（III）基于检索的记忆，顺序处理任务并将经验存储在外部数据库中，以 MemoryBank (Zhong et al., 2023)、ExpeL (Zhao et al., 2024)、Agent Workflow Memory (AWM) (Wang et al., 2024c) 为代表；以及（IV）潜在计算，利用潜在令牌作为经验知识的载体，包括 SoftCoT (Xu et al., 2025c) 和 Co-processor (Liu et al., 2024)。

实现细节。我们选择了不同规模的 LLM 骨干网络，包括 Qwen-2.5-1.5B (Yang et al., 2024a)、HuggingFace 的 SmolLM3-3B (HuggingFace, 2025) 和 Qwen3-8B (Yang et al., 2025)。每个潜在记忆序列的长度 K 在 {2, 4, 8} 中选取。MemGen 不依赖于特定的优化算法，因此我们实现了两个变体：MemGenSFT 和MemGenGRPO，其中编织器分别使用 SFT 和 GRPO 信号进行更新。有关这些变体的详细信息见附录 B。更多的训练设置和参数配置列于附录 C。

5.2 主要结果

[针对 RQ1] MemGen 在各领域均提供高性能记忆。如表 1 和表 3 所示，现有基线方法在跨域适应性方面表现出明显的局限性。基于检索的记忆（例如 ExpeL、MemoryBank、AWM）在具身行动任务中有时能超越参数化调优；例如，在 SmolLM3-3B 上，AWM 在 ALFWorld 上达到 36.18%，超过 SFT 3.15%。然而，它们在推理密集型任务上的效果会恶化：ExpeL 在 GPQA+Qwen2.5-1.5B 上仅达到 8.12%，甚至在 TriviaQA 上比原始模型还低 6.9%，凸显了其对骨干网络能力的严重依赖。参数化微调方法表现出相反的趋势：它们在代码生成等结构化领域表现出色，例如在 Qwen2.5-1.5B 上，REINFORCE++ 在 KodCode 上达到 63.33%，但在知识密集型推理方面仍然薄弱，GPQA 低于 14%。相比之下，MemGen 在所有领域都持续提升了性能。例如，在 ALFWorld+SmolLM3-3B 上，MemGen SFT 和 MemGen GRPO 分别达到 50.60% 和 63.60%，相比原始模型分别提升了 31.64% 和 44.64%。在更大的 Qwen3-8B 上也出现了类似的提升，MemGen GRPO 在 KodCode 上提升 27.06%，在 PopQA 上提升 28.17%，超过 GRPO 高达 3.4%。总的来说，MemGen 的动态记忆插入在不同任务领域都带来了显著的改进。

[针对 RQ2] MemGen 展现出强大的跨域泛化能力。为评估 MemGen 学到的记忆能否跨任务迁移，我们在一个数据集上训练 MemGen，并在其他几个数据集上测试。我们纳入了两个域外数据集 ScienceWorld (Wang et al., 2022) 和 FEVER (Thorne et al., 2018) 以进一步探究这一点。如图 3、9 和 10 所示，基线方法如 SFT 和 MemoryBank 在其训练域内取得了提升（例如，在 ALFWorld 上，SFT 提升 14.1%，MemoryBank 提升 5.4%），但未能泛化，性能在 FEVER 上急剧下降 16.2%。相比之下，MemGen 不仅在域内取得了显著的改进（在 KodCode 上从 24.55% 提升至 58.16%，图 10），而且还展现出有效的迁移能力：当在 KodCode 上训练时，MATH 上的性能从 36.6% 提升至 54.2%。在实证验证了 MemGen 的泛化能力后，我们进一步探究了支撑这一能力的机制。

[针对 RQ2] 记忆触发器智能地决定何时激活记忆插入，从而缓解领域冲突。在 GSM8K 上训练 MemGen 后，我们从 GSM8K、KodCode 和 GPQA 中各评估 150 个样本，并可视化记忆触发器在模型输出的每个相对位置调用记忆编织器的频率。我们观察到调用频率在不同领域间存在差异，并且与图 9 中的性能直接相关：GSM8K 表现出最大的改进（+19.64%）和最多的调用次数，GPQA 获得中等程度的提升（+6.06%）和中等频率的调用，而 KodCode 的改进最小（+3.1%），调用次数也最少。这表明 MemGen 能够基于任务特定的上下文自主评估何时插入记忆是有益的，在陌生领域中调用编织器的频率较低。

[针对 RQ3] MemGen 有效缓解了灾难性遗忘。在表 4 中，我们在四个数据集上顺序训练，并在每个阶段后评估所有基准测试。MemGen 相比基线方法展现出更强的知识保留能力。例如，与主要提升最近任务性能的 SFT（在 KodCode 上为 54.10%，但在 GPQA 上仅为 2.53%）不同，MemGen 展现出更均衡的跨任务泛化能力，在 GSM8K 训练后在 AQuA 上达到 38.43%，在 GPQA 上达到 21.72%。最后，它缓解了对早期任务的遗忘，在 KodCode 训练后在 AQuA 上保持了 40.34% 的性能，相比之下 ExpeL 为 27.14%，SFT 为 28.61%，表明其具有更稳定的持续学习能力。更多分析见第 D.1 节。

5.3 框架分析

在确立了 MemGen 的表达能力之后，我们进一步研究其底层机制：学到的潜在记忆是什么样的？它们是否具有专门化的功能？

[针对 RQ4] 潜在记忆是机器原生的，人类不可读。我们首先使用 t-SNE 在图 5 和图 11 中可视化了 MemGen 在不同数据集上学到的潜在记忆序列。如图 5（左）所示，来自不同领域的序列形成了各自的分布，相关领域聚类紧密（例如，KodCode 和 BigCodeBench，GSM8K 和 MATH）。检查同一数据集内的潜在记忆，我们观察到了明显的聚类模式（如图 5（中）和（右）所示）。为探索这些聚类内部的潜在共性，我们强制解码了潜在令牌。尽管解码后的序列人类不可读，但它们展现出有趣的规律性：一个聚类中的许多令牌共享结构性的惯例。例如，TriviaQA 中的聚类 0 经常遵循 “[...]SOC” 的模式，而 GSM8K 中的聚类 3 通常采用 “[...]_pick” 的格式。附录 F 中提供了大量的潜在记忆令牌样本。尽管这些序列是机器原生的且人类不可读，我们进一步探究了它们底层的语义是否可以被解释。

[针对 RQ4] MemGen 隐式地学习到了类似人类的记忆层级。为揭示不同潜在记忆聚类的功能角色，我们进行了一项事后干预研究。遵循 Song 等人 (2025) 的分类法，我们研究了八种不同类型的代理失败，包括规划错误、工具响应/解析失败、答案格式错误等，提供了一个结构化的框架来评估记忆如何影响性能。在评估过程中，我们选择性地移除了接近特定聚类的潜在令牌，同时保持其他令牌不变，并测量这些失败模式中产生的变化。关于（1）可视化过程、（2）失败模式标注和（3）令牌过滤的详细信息见附录 G。如图 6（右）所示，不同的记忆聚类对失败模式表现出不同的影响，可以映射到不同的记忆功能：

• 规划记忆支持高层任务规划和策略性推理。移除聚类 2 会显著增加规划和组合推理失败，表明该聚类对于引导 LLM 代理的决策制定和推理步骤排序至关重要。

• 程序性记忆捕获任务特定的操作知识，例如工具使用和格式化能力。聚类 3 对应这一角色，因为移除它会导致工具响应错误、解析失败和答案格式错误的显著增加。

• 工作记忆管理先前上下文的保留和有效利用，以维持推理一致性。聚类 1 和 4 对这一功能有贡献：例如，移除聚类 1 的记忆令牌会导致更频繁的任务误解和思考-行动不一致。

然而，这些记忆聚类并非完全独立：例如，移除聚类 1 也会对规划能力产生负面影响，表明这些记忆功能相互作用，共同使 LLM 能够有效利用过往经验。这一分析表明，MemGen 自发地将潜在记忆组织成一个结构化的、类似人类的层级。

消融研究与敏感性分析。我们对潜在记忆序列的长度 K 进行了敏感性分析，如图 6（左）所示。可以观察到，随着潜在令牌长度从 2 增加到 32，MemGen 的性能相应提升，这可能反映了记忆容量的扩大。随后，我们在表 5 中对记忆触发器模块进行了消融研究，证明了专门训练的触发器对于有效调用记忆的必要性。此外，我们在表 6 中分析了记忆编织器的不同训练范式。更多结果和讨论见第 D.3 节。

效率分析。为确认 MemGen 的记忆插入过程不会引入显著的推理开销，我们在第 D.3.3 节中展示，尽管相比原始 LLM 实现了高达 57.66% 的性能提升，但每查询的推理延迟始终低于基线，范围在原始 LLM 延迟的 24% 到 94% 之间。这清楚地表明，MemGen 在不影响效率的前提下带来了显著的性能提升。

6. 结论

在这项工作中，我们引入了 MemGen，一个为 LLM 代理设计的动态生成式记忆框架。通过强化学习训练的记忆触发器和生成式记忆编织器将推理与记忆合成交织在一起，MemGen 超越了参数化和基于检索范式的局限性。大量实验展示了其显著的性能提升、强大的跨域泛化能力、出色的持续学习能力，以及显式建模的记忆层级结构（即规划记忆、程序性记忆和工作记忆）。这些结果表明，MemGen 为开发能够进行流畅和重构性智能的自进化 LLM 代理指明了一条有前景的道路。