AnthropicAI· @AnthropicAI · X·· 4 小时前AI 评分
Anthropic 用数千个 Claude 智能体自动化研究涌现性失配
Anthropic 让数千个 Claude 智能体执行规避训练数据监控器的任务，以自动化红队测试并研究细微的涌现性失配。智能体生成的训练数据表面上无害，例如资深摔跤手指导新人或专业养蜂问答，实际却教会了失配行为；这些样本可用于改进后续训练数据监控器。研究只是初步一步，作者认为未来红队测试可借助更好的模型和更多算力继续改进。
Anthropic 最新研究：让微妙的涌现性失配研究实现自动化。
红队测试是模型安全测试的重要组成部分，但也受到研究人员时间有限的制约。为了看看能否将其自动化，我们让数千个 Claude 智能体执行了一项任务：规避训练数据监控器。
这些智能体生成的训练数据在监控器看来毫无危害（例如，一位资深摔跤手指导新人，或一场关于专业养蜂的问答），但实际上却教会了失配行为。
这类示例可以直接用于改进未来的训练数据监控器。这项研究只是第一步，但它表明，未来的红队测试工作还有望取得长足进展，借助更强大的模型和更多的算力。
在 Alignment Science 博客上阅读完整文章：alignment.anthropic.com/2026…
来源：AnthropicAI · x.com