deedydas 评述 LLM 可解释性研究：Qwen-32B 中 90% 神经元只负责一件事

这是人工智能领域最重要的成果之一，没有之一。

TLDR：神经网络并非纠缠的乱结（多义性假说是错的）。你可以直接研究它们自身的神经元，而无需先用第二个模型将它们“展开”。Qwen-32B 中 90% 的神经元只负责一项工作。

Nick Cammarata 创建了 OpenAI 的可解释性团队，现在在 Goodfire。他研究大语言模型的工作原理已有十年。

理解并对齐模型行为的重要性前所未有。模型已在数学领域取得超越人类的成果，能够破坏生产软件系统，并改变了白领工作的性质。这项工作或许终于能让我们有意地设计大语言模型，并塑造其行为方式。

这是一篇很长但非常精彩的文章。