Amazon 论文：Agent 记忆评测需直接核对存储事实而非仅看QA分数

亚马逊的一篇新论文指出，开发智能体记忆的团队应当检查实际存储了什么内容，因为仅凭问答（QA）评分无法发现究竟是流水线的哪个环节出了问题。

智能体记忆基准测试评的是智能体的回答，这把记忆、检索和答案生成混在了一起。强大的大模型可能掩盖损坏的记忆存储，而一次检索失败也可能让正确的存储看起来很糟糕。

他们构建了 FEB-30，即 30 条按脚本编排的事实历史，展开为 147 份文档，因此在每份文档处理后，正确的记忆状态都是已知的。在一个类似 Mem0 和 Hindsight 构建的记忆系统上，他们将存储的事实与这一真值以及 QA 评分进行了对比。

两种评分平均相差 16.8 分，在 21% 的事实历史上，通过/不通过的判定结果相互矛盾。系统只有 20.1% 的时候选对了正确的记忆操作（比如更新或强化），而 QA 从未反映出这一点。

如果你在开发智能体记忆，请在每次更新后直接测试存储的事实，并同时进行端到端的 QA 测试。