传统 Agent 记忆评测长期笼罩在「自选模型、自配裁判、自挑选数据集」的水分泡沫中。近日放榜的 Agent Memory LeaderboardAML通过严格控制变量的评测架构与专业精确的评估协议构建了一套真正纯粹的盲测管线。这篇从技术架构角度深拆 AML 评测管线的硬核工程细节。01传统评测的水分陷阱为何以往排名不可信在 AI 记忆领域过去几乎所有记忆相关的论文和产品都会声称自己「击败了基线」。但仔细检查评测管线就会发现三大水分来源。一是下游推理模型混淆使用强模型生成回答掩盖了记忆检索召回不全的致命缺陷。二是裁判偏误与 Prompt 提示工程过拟合针对特定数据定制评分 Prompt甚至使用倾向性极强的自定义 Judge 模型。三是自选测试集与黑盒运行仅展示表现优异的几百道题目掩盖离群失效。AML 的核心突破正是彻底重构评测管线Evaluation Pipeline挤干包装水分。AML 建立了一条更清楚的责任边界参评系统只负责 Add 与 Search平台统一负责 Answer 与 Eval之后再进行完整性、版本与资格复核。它把「记忆系统做了什么」和「平台如何回答和评分」分开记录从而明确问题归因。02技术拆解AML 评估管线Evaluation Contracts的工程设计AML 的发布引发海内外技术媒体博主热烈讨论众多博主一致认可公平比较不仅靠数据集更靠稳定、透明的运行合同。AML 的自动化工程管线具备四大硬核设计。接口责任隔离Add / Search Boundary参评系统被严格限制为只响应两个 HTTP APIAdd 负责接收长周期历史对话和代码记录并更新记忆Search 负责根据 Query 返回 Top-K 记忆证据片段。评估合同版本哈希Evaluation Contracts Versioning每一期评测的超参数如 top_k100、超时阈值、固定使用gpt-4o-mini生成答案全部通过 Hash 锁定杜绝中途静默更改。高并发与自适应重试Adaptive Concurrency Resilience评测平台采用 64-Worker 异步并发调度架构自动处理厂商 API 在面对海量请求时的 5xx 报错与限流确保高压盲测下的稳定性。近 5k 规模的盲测集Private Blind DatasetAML 包含基于 1.5 亿字符的超长上下文构造的近 5k 道盲测试题搭建了涵盖召回、利用、安全等七大核心维度及丰富子类的完整框架赋予了评测极高的覆盖度与代表性。同时5k 规模已足以全面评估参评系统在复杂场景下的综合表现又避免了数据集冗余。结合「公开子集 隐藏私有盲测集」的双轨设计AML 能够精准、高效地检验参评系统的真实能力上限。03首期榜单公布在 AML 首期公布的文本记忆赛道中参评系统被严格划分为开源方法榜与商业产品榜两大独立通道二者使用完全相同的测试套件与评估标准。商业产品榜Commercial Track 第 1 名 MemoraX综合得分 58.02斩获商业榜榜首并在 7 项文本能力分项中全维度领跑。 第 2 名 MemOS综合得分 45.89总响应延迟控制出色。 第 3 名 NTES-MEMORY-SMART综合得分 44.21展现了 NTES 在智能记忆方向的坚实技术基础。除了成绩榜单还提供了时间与返回规模的定性标签。当前商业产品榜前三名的总耗时、写入和检索均标注为 FastToken 消耗也都处于领先水平这些标签可以帮助观察工程形态。开源方法榜Academic/Open-Source Track 第 1 名 InvMem综合得分 45.06结合知识图谱与隐式索引路线表现出色。 第 2 名 ReFind综合得分 44.97以微弱差距紧随其后。 第 3 名 ActiveMemoryIndex综合得分 44.84在动态记忆重排上表现亮眼。AML 的真正价值不在于某一次榜单排名而在于它将过去隐含、分散且极易作弊的评估变量重构成可版本化、可审计的标准化评测合同。对于正处于基础设施摸索期、甚至连通用术语都尚未完全统一的 Agent Memory 领域这种「变量控制」的工程基座比暂时的排名更为关键。它让行业后续的技术讨论与工程演进终于能够基于同一份公正、透明的运行证据展开。我是木易每天帮你抹平 AI 圈的信息差。这篇如果有用顺手点个赞和在看转给身边用 AI 的朋友。想第一时间收到更新给我加个星标⭐。我们明天见。
