Anthropic为Claude引入对话自评安全机制
先了解这件事
AI 综述
2026年10月30日，Anthropic介绍其对话自我评估安全机制：训练Claude在每次回复后对当前对话进行初步安全评估，以标记可能被滥用的交互。Anthropic称，该机制自6月启用以来，发现了其他安全防护未针对检测的滥用行为，并利用Claude已读取对话上下文的特点提升效率。在Claude Fable 5上，该技术以1%的误报率，捕获了提示词分类器标记为潜在有害对话的78%，以及高优先级对话的94%。此外，每次成功攻击消耗的生成token约为无安全防护时的4倍。
报道时间线
10月30日
- Anthropic 介绍 Claude 对话自评安全评估技术
Anthropic 推出自评技术，让 Claude 在每次回复后对对话进行初步安全评估。在 Claude Fable 5 上，自评以 1% 误报率捕获了提示词分类器标记为潜在有害对话的 78%，以及高优先级对话的 94%。Anthropic 还指出，每次成功攻击消耗的生成 token 约为无安全防护时的 4 倍。
- Anthropic 为 Claude 引入对话自我评估安全机制
Anthropic 训练 Claude 在回复后对当前对话进行初步安全评估，以标记可能被滥用的交互。该机制自 6 月启用以来发现了其他安全防护未针对检测的滥用行为，并利用 Claude 已读取对话上下文的特点提升效率。