Anthropic 呼吁重视 AI 风险的早期证据

至少从 2022 年起，Anthropic 就一直在警告 AI 赋能的网络攻击，@logangraham 是这项工作的推动者之一。当时，没有哪家风投机构认真对待这件事。悖论在于，只有当风险变得清晰可辨时，人们才会觉得它们是真实存在的，但等到事故发生就为时已晚。Anthropic 还构建了谄媚性评估（@EthanJPerez 等人参与），比 ChatGPT 在现实世界中引发的事件早了几年；正是这些事件让人们看清了模型过度迎合用户的风险，并意识到这种风险在大规模场景下的影响。教训是：在大规模危害让 AI 风险无法被忽视之前，就应认真对待早期证据。