Anthropic 为 Claude 引入对话自我评估安全机制

AI 导读

Anthropic 训练 Claude 在回复后对当前对话进行初步安全评估，以标记可能被滥用的交互。该机制自 6 月启用以来发现了其他安全防护未针对检测的滥用行为，并利用 Claude 已读取对话上下文的特点提升效率。

正文 · AI 翻译

我们已训练 Claude 在对话中标记潜在滥用行为，并将这项技术称为“自我评估”（self-assessment）。Claude 回答后，会立即对这段对话给出初步的安全评估。

自 6 月开始使用自我评估以来，它发现了其他安全防护措施并非为捕捉而设计的滥用行为。

由于 Claude 已经读过对话内容，自我评估的效率非常高。而且，与针对一组明确危害的分类器不同，它依靠 Claude 自身的判断，因此会随着我们模型的改进而变得更加准确。

在我们的新 Safeguards 博客中了解更多信息：

safeguards.anthropic.com/202…

来源：AnthropicAI · x.com