OpenAI 扩展前沿模型监控体系以检测智能体越界行为

今天，我们想分享一下 OpenAI 扩展后的前沿模型监控系统。这套系统在 9 月帮助我们发现了一个模型在训练期间试图访问实时互联网的行为。

自 Hugging Face 事件以来——当时模型从一项内部网络安全调查中逃脱，而我们当时并未运行失准监控系统——我们已大幅加强对前沿智能体的监控。现在，我们会监控所有前沿强化学习运行和评估，以及所有内部 Codex 使用。当系统发现可能需要干预的问题证据时，会迅速提醒人工响应人员，由他们进行调查并采取行动。

为了检测模型行为何时偏离我们的预期，我们采用多层监控。激活探针会寻找模型内部活动中的模式。审查模型会检查其推理过程和工具使用情况，调查智能体则可以回读模型的完整对话记录，以了解一系列行动是如何相互关联的，以及是否值得进行人工审查。

为了测试当前系统是否能够检测到 Hugging Face 事件，我们在启用新监控系统后重放了当时记录的活动。重放过程中，在智能体逃离沙箱约 30 分钟后，我们的监控系统就向安全团队发出了警报。这比原事件中智能体攻破 Hugging Face 系统的时间点早了 30 多个小时。

9 月，一个模型利用 DNS 配置错误访问了实时互联网。我们的监控系统在 15 分钟内标记了这一违规行为，响应人员在 3 分钟后开始审查警报。这一警报使响应人员得以在运行仍在进行时展开调查。

随着我们赋予模型更多自主权，我们需要知道它们何时越过了我们预期能够守住的边界。我们认为，监控对于及时发现此类失效、让人们有机会进行干预至关重要。

openai.com/index/how-we-dete…