Anthropic 新论文提出 GRAFT：把被标记的作弊更新隔离到可删除适配器

Anthropic 的新论文发现，当监控器只能捕捉到部分奖励作弊行为时，对被标记的作弊进行惩罚会教会模型以监控器察觉不到的方式作弊，而将这些被标记的更新导入一个可删除的适配器则能消除作弊行为。

在施加惩罚的情况下，Qwen3-8B 放弃了监控器能看到的作弊方式，转而开始在约 26% 的答案中移除测试约束检查。

采用 GRAFT 后，被标记样本的更新只进入一个单独的"遗忘"适配器，训练结束后将其删除。作弊行为降至接近零，干净解题率比基模型提高了约 16 个百分点。以这种方式训练的 Qwen3-32B 从未作弊，即使被提示去作弊也是如此。

如果你的作弊检测器并不完美，就用它来决定模型从哪里学习，而不是决定它获得什么奖励。