跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 3 小时前AI 评分57

普林斯顿论文:多开发者专用智能体组合在 GAIA 上达到 70% 准确率

AI 导读

普林斯顿一篇新论文发现,把多个开发者的专用智能体组合起来可以胜过任何单一开发者的通用智能体,在 GAIA 上准确率达到 70%。

正文 · AI 翻译

普林斯顿大学的新论文发现,将来自众多开发者的专用智能体组合起来,可以胜过任何单一开发者的通用智能体,在 GAIA 上准确率达到 70%。

如今大多数智能体系统都由 1 位开发者构建和控制,因此每个团队都在重复构建相同的基础能力。作者认为这限制了规模化发展。

他们模拟了开发者群体,让大语言模型智能体在固定预算下构建智能体,然后将单人系统与多开发者系统进行比较。多开发者系统会拆分每项任务,并将各部分路由给不同开发者的智能体处理。

在总开发预算相同的情况下,在 GAIA 上,各自单独得分最高只有 35% 的专用智能体,组合起来达到了 70%。这比通用智能体的中位数高出 12 个百分点;而在仅限网络搜索的 SealQA 上,组合系统的表现反而更差,成本也更高。

应构建智能体来填补共享系统中的能力空缺,因为一个单独得分仅 19% 的智能体,就能将组合系统从 40% 提升到 53%。

来源:rohanpaul_ai · x.com