omarsar0· @omarsar0 · X·· 3 天前AI 评分
研究称原始对话 RAG 在多数长期记忆基准上优于复杂智能体记忆系统
一项研究显示,仅对原始聊天记录进行稠密检索和重排序的 Raw-RAG,在多数长期记忆基准上优于复杂智能体记忆系统。
RAG 真的又杀回来了!
这项研究表明,在大多数长期记忆基准测试中,对原始聊天记录直接使用普通 RAG,效果优于复杂的智能体记忆系统。
(先收藏)
他们测试了 Raw-RAG,该方法就是在原始对话上使用稠密检索加重排序,并将检索结果输入给阅读器 LLM。
在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 上,它在七种基准与模型设置中的六种里排名第一,比最强的智能体记忆系统高出 0.13 至 5.53 分。在 BEAM-1M 上,数据摄取耗时 0.3 小时,而 Mem0、MemOS 和 Memora 等系统则需要 3.2 至 27 小时。
为什么它的效果能站得住脚?原始历史记录保留了问题所需的大部分证据,包括答案背后的关系和依赖路径。将历史记录改写为记忆条目,往往会丢失这些关键信息。
即便模型能够完整访问转换后的记忆存储,其回答的准确性仍低于使用原始证据时。
在给你的智能体添加记忆层之前,至少先在你自己的数据上运行一下这个基线。
arxiv.org/abs/2610.30755
Chat with Paper: academy.dair.ai/papers/is-co…
来源:omarsar0 · x.com