OpenAI 可解释性项目负责人：多数神经元其实可读，可解释性或很快被解决

可解释性可能是当今世界最重要的科学问题，因为如果我们不知道自己在构建什么，我认为就无法解决对齐问题。我觉得我在这方面有个好消息。我曾合著过 OpenAI 早期的机制可解释性研究，当时得出的结论是悲观的，因为神经网络似乎会折叠成任意纠缠的死结。多年后，我启动了 OpenAI 首个大规模自动化可解释性项目，用当时简陋的工具只发现约 2% 的神经元是可读的

而借助现代的智能体工具并进行更细致的观察，情况看起来完全不同了。在参数规模高达数万亿的模型中，绝大多数神经元都是可读的，其电路也非常优美。许多著名的纠缠神经元案例后来被证明是误解。我原本预期的障碍大多并不存在。我现在认为，雄心勃勃的可解释性研究将在我们最需要它的时候得到解决，而且可能很快，因为自动化科学家在不断进步。这或许会成为可解释性领域的一条苦涩教训：简单的方法，在荒谬的规模下，就是有效

already-clean.goodfire.com/