论文提出用16个记忆token实现LLM智能体记忆

// 面向大语言模型的潜在语义记忆 //

这篇论文提出了一些非常有趣的关于智能体记忆的研究发现。

他们发现，在 FactKG 上，16 个记忆 token 的效果超过了全上下文推理，同时源文档的 token 数量减少了 108 倍。

方法：

文档被一次性编码为可重复使用的嵌入。对于每个查询，一个学习模块从整个文档集合中收集相关信息，并将其写入冻结大语言模型输入空间中的 16 个 token。

结果：

在八个基准测试中的五个上，它击败了 Mem0、MemoRAG 等基线方法。在 FactKG 上，它取得了 84.33% 的分数，而全上下文方法为 80.43%。

它同样可以作为智能体记忆使用。在 TextWorld 中，将智能体自身的历史作为文档集合，可将其成功率从 18.6% 提升至 24.2%，并且智能体重访的房间更少。

它似乎还有助于冻结的大语言模型在长上下文交互中有效地积累和运用知识。这适用于构建持续学习的 AI 系统。

arxiv.org/abs/2610.21375

Chat with Paper: academy.dair.ai/papers/memor…