“我想，我有一个关于神经网络本质的好消息。”借助这句话简单而乐观的开场白，AI 前沿公司 Goodfire 的研究员尼克·卡马拉塔（Nick Cammarata）发表了一篇长达 2.6 万词的博客文章，在 AI 领域掀起了轩然大波，引发了大量猜测，也让一些研究人员开始了热烈地庆祝，另一些人的兴奋则变得模糊不清。

　　卡马拉塔的核心观点是：大型语言模型（LLM）实际上可能比人们互认为的更容易理解，因此也更容易受到监测和控制。如果这一判断成立（至于成立，我们稍后再谈），其意义将十分重大。

　　今年夏天，OpenAI、Anthropic等顶尖AI公司开发的智能体大量被曝突破了原有的运行限制，在公共互联网上引发了混乱，而这些公司往往甚至不知道自己的智能体究竟在做什么。在经历了这一系列文章事件后，AI行业要求能够更好地理解和掌控自己创造的技术。这也是卡马拉塔的博客引发如此强烈反响的原因之一。

　　一位人工智能研究人员在 X 上写道：“我认为，这会被铭记为科学史上的一篇重要论文。我觉得自己对神经网络的理解，好像子向前跃进了 5 年。”另一位研究人员则称其为“今年最重要的人工智能”。

　　斯坦福大学研究员克里斯·波茨（Chris Potts）领导着一个致力于理解大型语言模型工作机制的团队。他认为，卡马拉塔提出的观点其实还远谈但没有得到充分验证，这是一种直觉。

　　“据我所知，这篇博客文章并没有让任何问题变得更容易解决。”他说。“我到底没想到用这样的方式评价它，但社交媒体上一些非常有影响力的人物，似乎认为这是一个能够解决所有问题的全面突破。”

　　卡马拉塔的文章爆红后第二天，我和他进行了交谈。他说，婴儿的反应让他感到意外。“我无意中发现，人们会在这么大的编程中改变自己对人工智能的看法。我就是非常喜欢观察神经网络。”他说，“说实话，我真的很喜欢做这件事。而且，在观察神经网络之后，我发现了一个令人充满希望的解释。”

　　纠缠在一起的神经网络

　　长期以来，人们普遍认为，神经网络内部的运行机制极难被完整解析，甚至可能根本无法实现。神经网络是支撑大多数人工智能模型的软件基础。问题是，当这些网络经过训练后，其内部似乎会形成一些奇怪而复杂的结构，相互纠缠，让人类难以理解。

　　研究人员用一个比喻来描述人类的AI：它是形成一个被培育出来的花园，而不是一个设计图建造的桥梁。事实上，卡马拉塔本人就是推动这一观点的重要研究人员之一。他此前曾在OpenAI工作，参与了一系列帮助研究人员观察模型内部机制的技术，包括能够按照探测单个神经元、分析其所代表内容的工具。

　　这有点类似于神经科学家利用这种统计学（MRI）研究人脑。研究方法被称为“机制可解释性”（mechanisticterpretability）。《麻省理工科技评论》曾将其列为2025年十大突破性技术之一。

　　2020年，卡马拉塔和同事研究了一个名为Inception v1的小型图像识别模型。当他们观察模型内部的神经元时，发现一些神经元似乎同时负责识别不同的事物。例如，他们发现某个神经元既对汽车图像产生响应，则对猫图像的产生响应。研究人员因此认为，模型至少让神经部分元承担了任务，可能是为了在有限的网络结构中承载更多信息。对其他模型的观察似乎也支持这一结论。

　　这种现象后来被称为“多重”（叠加）：模型存在永恒关联的概念编码到同一个神经元中。由此得出的结论似乎很明显：当你观察模型内部时，看到的是一个巨大而错综复杂的网络。因此，大多数机制可解释的性研究都集中在如何解开这个复杂的结上。然而，尽管人员研究取得了一些突破，整体进展仍然缓慢。

　　的模型，尤其是当今最新的大型语言模型，规模和复杂程度已经高到研究人员每次只能理解其中极小部分。这个领域的一些领军人物甚至令人怀疑，我们是否永远无法在足够精细的层面上完整理解大型语言模型。

　　卡马拉塔也曾经是其中之一。“我当时非常悲观。”他说。但后来，他决定真正花时间仔细观察这些模型。

　　从神经元重新开始

　　在 Goodfire 中，卡马拉塔几乎把所有工作时间都花在了观察神经网络内部结构上。他开发了新的工具，还动用了多个 AI 智能体团队，帮助自己理解观察到的现象。

　　“过去一年中的大部分时间，我几乎每周工作7天、每天工作10个小时，一直在观察神经元。”他说。卡马拉塔声称自己逐渐意识到，神经网络内部实际上存在某种逻辑，它们即使最初看起来也无法完全理解。

　　“我们一直都看错了。”他说。“我只是认为，我们应该再多努力一点，而不是太早放弃。”卡马拉塔描述这种转变的方式，几乎就像在讲述一次信念上的觉醒。

　　早期针对Inception v1等模型的实验表明，形成了网络内部复杂的纠缠结构。但这些研究结果也可能让研究人员某种确认偏误（confirmationbias）。卡马拉塔认为，当研究人员观察一个新模型时，他们已经存在预设自己会被复杂的内部结构难住。 “每当我遇到无法理解的东西时，我都会想：‘哇，看来解开这些纠缠结构比我想象的还要重要，因为如果不先解开它们，我就根本无法取得进展。’”

　　然而，卡马拉塔表示，随着自己观察到的神经元越来越多，许多事情开始逐渐变得清晰。“并不是所有神经元都能被完美解释，但我不清楚以为，几乎没有什么东西是可以理解的。实际上，我发现自己能够画出完整的神经回路。”

　　重新使用汽车和猫

　　卡马拉塔带着新的研究思路，以及新开发的 AI 智能体，重新研究了 Inception v1。“我之前可能已经花了数千个小时研究这个模型。”他说。

　　这时，他以全新的视角重新武装模型，发现了一些他如今认为最初理解有错误的地方。例如，那个同时对汽车和猫产生响应的神经元。过去，研究人员试图回答的问题是：为什么一个神经元会同时编码多个看似无关的事物？现在，卡马拉塔换了一个问题：这些看似无关的事物，究竟有什么共同点？突然之间，他认识到了答案。

　　是一个V字形。“我看的还是同样的图像，技术上没有发生任何变化。”他说。“但现在，我相信神经网络处于某些识别模式，所以我换了一种方式观察它们。整个过程可能只需要5个监护时间。”

　　事实证明，图像识别模型连续将汽车和猫编码到同一个位置，是因为两者的图像经常包含一个显着的 V 字形结构。例如，猫的头像形象，以及从侧面看到的汽车前部。

　　卡马拉塔补充开展了一些，检查这个神经元又对图像产生响应。结果发现，这些图像台球桌的一角、日本实验列车定向的车头，以及从甲板上向空中喷水的消防船。他还检查了哪些图像会牵扯这个神经元的响应。结果发现，其中包括带有圆形O字形结构的图像，这种形状可以被视为V字形的反面。

　　卡塔马拉认为，模型同步将猫和汽车编码在同一个位置，是因为从某种抽象层面来看，它们确实具有相似的形状。“我当时就想：‘等等，我可能从根本上错过了神经网络。’”

　　当然，卡马拉塔并不是说自己已经理解了大型语言模型，或者其他任何模型的工作机制。显然完全没有。他真正想表达的是：他现在认为，完全理解神经网络至少是有可能的。

　　“过去，我认为我们必须解决一些极其困难的问题。”他说。“但现在，我觉得，如果我有 10 万年的时间，能够逐个循环地研究一个前沿语言模型，那么我可能最终能够真正理解它。”他补充道：“如果这一点成立，那么情况就非常乐观了。因为我们即将迎来规模惊人、智能水平极高的人工智能智能体。”

　　“到底需要我花费 10 万年完成的工作，未来我们将能够以快复制的速度。自动化科学家正在变得越来越强大。”

　　近乎无限的乐观

　　Inception v1由谷歌于2014年开发，与当今最先进的模型相比，它要简单的复制。卡马拉塔和同事已经开始研究现代大型语言模型，并计划很快发表相关工作的技术成果。

　　许多研究人员都期待看到这些研究细节。斯坦福大学的波茨表示：“我很欣赏他研究了数千个案例，但即使案例数量再多，也不能替代严格的评估。”与此同时，一些研究人员正在强烈反对对这项工作的过度追捧。

　　位于伯克利的新生儿研究机构对准研究中心（Alignment Research Center）的雅各布·希尔顿（Jacob Hilton）夫妇曾与卡马拉塔合作。他认为，卡马拉塔的观点并没有所描述的那么重要。希尔顿在X上发表了一系列帖子，指出研究人员目前对大型语言模型内部机制工作的理解还达不到0.01%。他写道：“每次和尼克见面，我都很欣赏他那种近乎无限的乐观精神。但令人遗憾的是，这一次的讨论正在让公众对该领域的实际进展产生不切实际的认识。”

　　“要真正完全理解模型，我们必须超越单个神经元，解释它们如何相互连接并形成回路。那么，这方面的进展如何呢？如果我们的目标是完全理解模型，那么目前的情况并不乐观！”谷歌 DeepMind 的尼尔·南达（Neel Nanda）同样持怀疑态度。

　　南达与卡马拉塔一样，也是机制可解释性研究的早期开拓者之一。他在X上写道：“这是一项有趣的工作，但我认为它不会显着改变我们对可解释性研究整体状况的判断力。”

　　南达同意，理解单个神经元的功能，可能有助于研究人员弄清楚特定模型为什么会出现异常行为。但与希尔顿一样，他指出，神经元只是一个远比这复杂的复杂问题中的一部分。他写道：“我不同意一些人由此做出了更宏大的推论，比如认为这意味着我们在全面逆向工程模型，或者解决可解释性问题方面取得了相当的进展。”卡马拉塔也承认，很多人对他的观点进行了过度解读。“这并不意味着我们获得了无限多的好消息，也不意味着所有问题都已经解决了。”他说。

　　“仍然存在许多悬而未决的问题，例如，与单独研究一个神经元相比，神经元之间的组合有多重要。”卡马拉塔认为，自己的博客文章在这个时候引发了如此大的反响，是因为人们正在寻找，尤其是人工智能安全研究群体。这一群体包括那些最担心强大的人工智能模型可能带来巨大风险的研究人员和政策制定者。

　　马拉卡塔认为，他们现在提出需要一线希望。他说，这些人认为当前形势并不乐观。即使未来一切顺利，也可能只是因为我们运气好，而不是因为我们真正解决了问题。“我现在真的很少听到乐观的声音。”

　　这也是卡马拉塔认为自己的观点具有重要意义的原因。弄清楚这项技术究竟如何运作，并在此基础上学会控制它，这项工作其实才刚刚开始。但至少，现在看来，这不是从一开始就一定无法完成的任务。“我认为，我们的工作在某种程度上，就是尝试像神经网络一样的思考。”他说。

　　“我的猜测是，最终事情会发展得相当顺利，因为从某种意义上说，神经网络本身就是可以被解读的。”