Anthropic 介绍 Claude 对话自评安全评估技术

AI 导读

Anthropic 推出自评技术，让 Claude 在每次回复后对对话进行初步安全评估。在 Claude Fable 5 上，自评以 1% 误报率捕获了提示词分类器标记为潜在有害对话的 78%，以及高优先级对话的 94%。Anthropic 还指出，每次成功攻击消耗的生成 token 约为无安全防护时的 4 倍。

正文 · AI 翻译

Anthropic 推出了自我评估（self-assessment），这是一种新方法，可以让 Claude 在每次对话回复后立即对这次对话作出初步的安全评估。

> 在 Claude Fable 5 上，自我评估能标记出经提示词驱动的更强分类器判定为可能有害的对话中的 78%，以及高优先级对话中的 94%，误报率为 1%。

Anthropic 还透露了自我评估和提示词驱动的分类器如何帮助拦截攻击。

> "每次成功攻击所消耗的生成 token 大约是没有安全防护时的四倍。"

我们早已生活在这样一个世界里：你的安全取决于为保护你所依赖的系统而分配的算力。