传统 Agent 记忆评测长期笼罩在「自选模型、自配裁判、自挑选数据集」的水分泡沫中。

近日放榜的 Agent Memory Leaderboard（AML），通过严格控制变量的评测架构与专业精确的评估协议，构建了一套真正纯粹的盲测管线。这篇从技术架构角度，深拆 AML 评测管线的硬核工程细节。

01｜传统评测的水分陷阱：为何以往排名不可信？

在 AI 记忆领域，过去几乎所有记忆相关的论文和产品，都会声称自己「击败了基线」。但仔细检查评测管线，就会发现三大水分来源。

一是下游推理模型混淆，使用强模型生成回答，掩盖了记忆检索召回不全的致命缺陷。二是裁判偏误与 Prompt 提示工程过拟合，针对特定数据定制评分 Prompt，甚至使用倾向性极强的自定义 Judge 模型。三是自选测试集与黑盒运行，仅展示表现优异的几百道题目，掩盖离群失效。

AML 的核心突破，正是彻底重构评测管线（Evaluation Pipeline），挤干包装水分。AML 建立了一条更清楚的责任边界，参评系统只负责 Add 与 Search，平台统一负责 Answer 与 Eval，之后再进行完整性、版本与资格复核。它把「记忆系统做了什么」和「平台如何回答和评分」分开记录，从而明确问题归因。

02｜技术拆解：AML 评估管线（Evaluation Contracts）的工程设计

AML 的发布引发海内外技术媒体博主热烈讨论，众多博主一致认可：公平比较不仅靠数据集，更靠稳定、透明的运行合同。

AML 的自动化工程管线具备四大硬核设计。

接口责任隔离（Add / Search Boundary），参评系统被严格限制为只响应两个 HTTP API，Add 负责接收长周期历史对话和代码记录并更新记忆，Search 负责根据 Query 返回 Top-K 记忆证据片段。

评估合同版本哈希（Evaluation Contracts Versioning），每一期评测的超参数（如 top_k=100、超时阈值、固定使用gpt-4o-mini生成答案）全部通过 Hash 锁定，杜绝中途静默更改。

高并发与自适应重试（Adaptive Concurrency & Resilience），评测平台采用 64-Worker 异步并发调度架构，自动处理厂商 API 在面对海量请求时的 5xx 报错与限流，确保高压盲测下的稳定性。

近 5k 规模的盲测集（Private Blind Dataset），AML 包含基于 1.5 亿字符的超长上下文构造的近 5k 道盲测试题，搭建了涵盖召回、利用、安全等七大核心维度及丰富子类的完整框架，赋予了评测极高的覆盖度与代表性。同时，5k 规模已足以全面评估参评系统在复杂场景下的综合表现，又避免了数据集冗余。结合「公开子集 + 隐藏私有盲测集」的双轨设计，AML 能够精准、高效地检验参评系统的真实能力上限。

03｜首期榜单公布

在 AML 首期公布的文本记忆赛道中，参评系统被严格划分为开源方法榜与商业产品榜两大独立通道，二者使用完全相同的测试套件与评估标准。

商业产品榜（Commercial Track）

🥇 第 1 名 MemoraX，综合得分 58.02，斩获商业榜榜首，并在 7 项文本能力分项中全维度领跑。
🥈 第 2 名 MemOS，综合得分 45.89，总响应延迟控制出色。
🥉 第 3 名 NTES-MEMORY-SMART，综合得分 44.21，展现了 NTES 在智能记忆方向的坚实技术基础。

除了成绩，榜单还提供了时间与返回规模的定性标签。当前商业产品榜前三名的总耗时、写入和检索均标注为 Fast，Token 消耗也都处于领先水平，这些标签可以帮助观察工程形态。

开源方法榜（Academic/Open-Source Track）

🥇 第 1 名 InvMem，综合得分 45.06，结合知识图谱与隐式索引路线，表现出色。
🥈 第 2 名 ReFind，综合得分 44.97，以微弱差距紧随其后。
🥉 第 3 名 ActiveMemoryIndex，综合得分 44.84，在动态记忆重排上表现亮眼。

AML 的真正价值，不在于某一次榜单排名，而在于它将过去隐含、分散且极易作弊的评估变量，重构成可版本化、可审计的标准化评测合同。对于正处于基础设施摸索期、甚至连通用术语都尚未完全统一的 Agent Memory 领域，这种「变量控制」的工程基座比暂时的排名更为关键。它让行业后续的技术讨论与工程演进，终于能够基于同一份公正、透明的运行证据展开。

我是木易，每天帮你抹平 AI 圈的信息差。这篇如果有用，顺手点个赞和在看，转给身边用 AI 的朋友。想第一时间收到更新，给我加个星标⭐。我们明天见。