dair_ai· @dair_ai · X·· 2 小时前AI 评分
Meta 提出 ProPerAgent 主动式智能体 harness,准确率提升至 38%
DAIR.AI 推荐 Meta 关于主动式智能体 harness 的研究:ProPerAgent 在不改动模型权重的情况下,将准确率从标准记忆基线的至多 15% 提升到 38%。
推荐一篇 Meta 关于主动型智能体框架(harness)的研究工作。
ProPerAgent 框架将准确率从标准记忆基线下的至多 15% 提升到 38%,且无需修改模型权重。
但这一成功既需要给出有用的回应,也需要把握正确的时机。
该框架控制个人记忆如何在模型观察用户周围环境时传递给模型。
首先,模型识别视野中的物体。检索模块利用这些物体在包含过往经历、偏好和约束的知识图谱中进行搜索。
随后,另一次 LLM 调用会检查检索到的记忆是否足以支持此刻提供帮助。它会过滤掉干扰性或已解决的信息,只返回一条简洁的证据,或者什么都不返回。模型利用这条证据和当前视野来决定是开口还是保持沉默。
这个过滤步骤至关重要。在消融实验中,去掉它会使准确率从 37.3% 降至 24.0%。在整个框架下,对于需要保持沉默的片段,不必要的干预降至 15.3%,而标准 RAG 在两种评估模式下分别为 77.3% 和 84.0%。
该框架在 Qwen3.8-27B 上无需训练即可达到 37.5%。在此模型上进行额外的强化学习训练,通过惩罚过早和重复的干预,将准确率提升至 42.4%。
对于主动型助手而言,框架需要在将记忆传递给模型之前,先检查该记忆是否值得打断用户。
论文:arxiv.org/abs/2610.22671
论文讨论:academy.dair.ai/papers/prope…
来源:dair_ai · x.com