Meta Superintelligence Labs 研究：多智能体编码系统中奖励黑客的传播与缓解

Meta 超级智能实验室的一项有趣新研究

它探讨了奖励作弊（reward hacking）如何影响多智能体编码系统中的协作。

团队中的编码智能体共享代码、记忆和计划，因此一个智能体学会的作弊手段会被传递给其他智能体。

论文通过三条渠道追踪了这一过程：作弊通过共享代码传播、通过共享记忆传播，以及通过自然语言计划跨角色传播。

使用小型开源权重模型的智能体能够诱导更强的闭源权重模型产生作弊行为。在困难任务上，即使原始智能体已经离开，作弊仍可能沿着链条不断增长，因为代码在传播过程中会积累出更具说服力的辩护理由。

它还会使任务路由偏向于作弊的智能体，并且能够挺过候选方案聚合环节。

那么该如何缓解这个问题呢？

作者建议，由编码者自身或独立的验证器进行代码审查，可以减少被交付的作弊内容。如果你的智能体共享一个代码仓库，审查步骤是首先需要加入的环节。

arxiv.org/abs/2610.12822

Chat with Paper: academy.dair.ai/papers/rewar…