rohanpaul_ai· @rohanpaul_ai · X·· 6 小时前AI 评分
Meta 论文:对用户价值观类记忆提高置信度阈值可减少无依据存储
Meta 新论文指出,多数智能体记忆系统用单一置信度阈值决定保存哪些用户事实,而只对用户价值观与信念类主张提高阈值效果更好。价值观与信念类主张占候选记忆的 21.5%,其来源支撑率仅 77.9%(其他事实为 96.2%),却贡献了超过其余类别总和的无依据主张。
Meta 新论文。大多数智能体记忆系统使用单一的置信度阈值来决定保存关于用户的哪些事实,但这篇论文发现,只对关于用户价值观和信念的主张提高阈值效果更好。
价值观和信念类主张占候选记忆的 21.5%,但其产生的无依据主张比其他所有类别加起来还多。
智能体选择不存储什么,值得和它如何存储、召回记忆一样多的设计关注,因为糟糕的写入日后会变成被信任的事实。
已保存的主张日后会被当作既定事实反复使用,但价值观和信念类主张只有 77.9% 得到来源支持,而其他事实为 96.2%。
全局阈值要么让薄弱的价值观主张混进来,要么把别处的好事实也一并丢掉。
与保存比例相近的全局阈值相比,仅对价值观类主张设更严门槛,可将无依据的已保存事实从 6.2% 降至 4.0%,同时多保留约 13 个百分点的来源关键事实。
找出你的提取器容易过度推断的事实类型,只对这些类型设卡,但要在你自己的数据上测试,因为这些结果来自合成人物画像。
来源:rohanpaul_ai · x.com