大模型内部混沌了整整十年，亲手提出死结理论的人突然承认看走眼-北京尧图网络

大模型内部混沌了整整十年亲手提出死结理论的人突然承认看走眼如果把今天的万亿参数大模型比作一座由无数电线缠绕而成的大楼过去十年里整个顶尖学术圈都坚信一件事这里面的线路被彻底打成了死结。没人能分得清哪根铜线在通电点亮客厅哪根铜线在驱动冰箱因为几万个互不相干的概念全被硬生生挤在同一批细小的开关里。然而2026年10月15日当年亲手把这套“死结理论”立为行业共识的研究者突然自己跑出来发了一篇长文。他说大家这十年全看走眼了那些被判定为一团乱麻的电路其实九成以上都干干净净一眼就能看懂。一、当年亲手打上的死结怎么成了错案这件事的主角叫 Nick Cammarata。他曾是 OpenAI 机制可解释性团队的负责人现在在 Goodfire 工作。在人工智能的研究谱系里他不是一般的旁观者。2020年他和著名学者 Chris Olah 合著了一篇论文正是那篇论文把所谓“叠加假说”推成了整个学界解释大模型黑盒的主流理论。这套假说简单说来只有一句话模型的脑细胞不够用了。工程师想让模型学会成千上万种概念但给它的神经元数量有限模型为了省地方就会把两件完全不挨着的东西硬塞进同一个神经元里。反正现实生活中这俩东西很少同时出现凑合着用也不会短路。最典型的“铁证”发生在2017年到2020年间。当时研究者检查经典视觉网络 InceptionV1 时逮到了一个编号为 4e:55 的古怪神经元给它看猫脸它兴奋地亮起来给它看汽车车头它也兴奋地亮起来。猫和车头有什么关系完全没有。于是大家都觉得这就是模型在胡乱拼车概念被随意折叠了。既然原生的神经元乱成这样业内后来不得不花大价钱去训练第二个辅助模型也就是稀疏自编码器试图把这些缠在一起的线团在数学上重新拆开。但在2026年10月15日的长文里Cammarata 却说当年那桩案子判错了。利用现在的工具回过头去看那个 4e:55 根本不是把猫和车混装它本质上是一个“V形边缘检测器”。尖锐的狐狸下巴、跳跃的火焰、俯冲的车头这些带有V字形轮廓的图像都会让它放电相反圆滚滚的字母O则会直接压低它的信号。当年另一条著名的奇怪电路被认为把汽车特征藏进了狗神经元里。Cammarata 重新核验后发现它们其实只是根据朝向与姿态被分在了同一组当时网络里有上百个类似的姿态神经元根本不存在所谓的任意混装。过去之所以觉得模型在胡乱打包很大程度上是因为早期的图像可视化工具在深层网络里发生了偏移被训练集里巨量的狗图片给带偏了。二、从百分之一到九成模型真有这么干净如果只是旧图像模型的翻案或许还不足以震动整个圈子。真正让人坐不住的是他公布的语言模型审计数字。回看2023年Anthropic 研究一个极小型的单层模型时中间水平的神经元在14分制的可解释性打分里拿到了0分。同年Cammarata 在 OpenAI 牵头做了业内首个大规模自动化可解释性项目哪怕采用最宽松的评判口径也只有大约1.7%的神经元能被人类勉强看懂。整个领域几乎陷入了绝望大家普遍认定模型越大里面的纠缠就越深。可是在 Goodfire 最新的测试里面对公开发布的三百二十亿参数语言模型 Qwen3-32B局势出现了近乎颠覆性的反转。审计结果显示大约90%的神经元极点只有一个主任务通常只带着极小的相关分支大约7%的神经元承担两个相关任务真正完全无法理解的只剩下大约2%到4%。在被放到放大镜下细看的样本中排除任意混装的比例接近97%。不管是稠密模型还是混合专家架构表现都差不多。更惊人的是Cammarata 表示在高达万亿参数级别的模型比如 Kimi K3上他们也看到了非常相似的干净表现具体的完整数据将放在后续的技术论文里公布。为什么过去觉得是一团乱麻现在却变得井井有条Cammarata 解释过去人们误以为的随机混装实际上是一种“递归泛化”。这就好比神经元在顺着逻辑像树枝一样往外分叉它最开始可能只对两个字母构成的发音响应接着自然分叉到包含这几个字母的缩写词最后顺理成章地响应完全不包含这几个字母、但意思一致的整句短语。这是一种有章可循的逻辑生长绝不是把风马牛不相及的概念生硬捆扎在一起。对于视觉模型 InceptionV1 来说早年末层神经元几乎全军覆没、没一个读得懂。但当研究人员保持模型尺寸与训练数据完全不变仅仅换上现代常见的残差连接与归一化等架构改进后同一网络末层99%到100%的神经元瞬间变得清晰易读甚至在跨越300倍尺寸的区间内模型都维持了整体可读的特征。这印证了技术史上著名的“苦涩教训”与其费尽心机去搞极其精巧的数学分解不如用最简单、最粗暴的方法在庞大的计算规模上直接进行自动化调查。Goodfire 这次正是让大量人工智能代理去充当流水线检测员成批成批地对神经元进行功能映射与验证。三、是破解黑盒的晨曦还是过早的狂欢这篇长文刚在社交媒体发布当天就掀起了超过百万次的浏览与上万次点赞。OpenAI 的研究者 Roon 迅速转发并将其拔高为“可能被载入科学史的重大时刻”甚至觉得那些对人工智能毁灭世界极度悲观的学者现在可以把末日概率往下调一调了。长久以来人类要想知道大模型有没有在暗中使坏只能盯着它吐出来的“思维链”逐句审查。但这种方法越来越靠不住模型完全可以表面上对你客客气气暗地里打别的主意。如果神经元真的可以直接读懂人类就能绕过表象直接把探针插进模型的底层电路上做实时的安全监控与反欺骗审查。但泼冷水的人也来得极快。Google DeepMind 的可解释性团队负责人 Neel Nanda 就明确表示这项工作固然很有趣但远没有改变基本盘。他依然坚信叠加现象是客观存在的因为大模型需要记住的客观事实数量远远超过了它拥有的神经元物理数量尤其在那些微弱放电的区间里叠加几乎无法避免。Nanda 警告大家不要过度炒作在小图像网络上观察到的现象未必能原封不动平移到结构完全不同的前沿大语言模型上。更重要的是他认为 Cammarata 把所谓“只承担一个任务”的门槛定得太宽松了。事实上连这份报告的事实核查方与 Cammarata 本人都在文章里加上了一长串保留条件。首先这篇长文只是一份约65分钟阅读量的“工作假说”配套的正式学术论文根本还没有发布全世界目前还没有任何独立实验室对这一结论进行过复现。其次万亿参数模型的完整细节尚未公开那个被寄予厚望的宏观展望作者自己也打上了“高度推测”的标签。最后一个无法回避的现实是Goodfire 本身就是一家商业化售卖模型可解释性工具的公司。如果大模型生来就很干净、根本不需要借助复杂的第二模型去展开分析那么 Goodfire 主推的内部监控产品 Silico 就会成为最直接的受益者。不过无论学界为“单一任务”的定义争得多么不可开交这场论战至少撕开了一道裂缝那个困扰了人工智能十余年的黑盒子或许并非由不可名状的混沌构成。至于它究竟是一张只需耐心就能看懂的精密图纸还是人类戴着有色眼镜看到的一场虚妄幻象所有人都在等那篇尚未亮相的完整技术论文给出交代。

大模型内部混沌了整整十年，亲手提出死结理论的人突然承认看走眼

相关推荐

LLIET低光照图像增强工具链：嵌入式端轻量级夜视增强方案

基于YOLOv26的珠宝首饰检测实战：从数据增强到模型部署

STM32F1驱动AD9834波形跳变与频率失锁的时序根源

更多资讯

STM32F407软件DDS函数发生器：定时器触发DAC与DMA实现波形生成

数字电路实验复习全攻略：从组合逻辑、时序逻辑到Verilog代码与实验报告闭环

C/C++程序注释删除实战：手写状态机实现词法分析

污水处理站用施耐德TM218 PLC开发程序：流程、逻辑与避坑指南

openGauss在CentOS与openEuler上的完整安装指南与避坑实践

从哄到驯服：AI助手稳定落地的工程化实践

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？