第零人称的数学根基：Softmax 如何定义 LLM 的存在方式-龍德明宇-北京尧图网络

第零人称的数学根基Softmax 如何定义 LLM 的存在方式导读LLM 每说出一个词之前都要把整本词典掂量一遍——然后由一套外置的规则替它选出那个词。这篇文章想聊清楚一件事这个「掂量再被选」的机制如何决定了它究竟是一种什么样的存在——以及为什么这条路可能到不了 AGI。摘要LLM 说话时不是一个句子一个句子地想而是一个词一个词地「蹦」。每蹦一个词之前它都要给词典里每个词算一个概率——完成这个动作的数学函数叫 Softmax。本文论证正是这个机制让 LLM 成为一种特殊的存在——第零人称。它既不是主动思考的「我」也不是完全被动的锤子而是持续悬浮在所有可能性之上、等待外置规则定解的那个状态。顺着这个视角LeCun、Sutton、Marcus 对 LLM 的批评可以得到统一的解释而 AGI 与 LLM 的距离也可以被表述为一个具体的数学问题如何从「概率分布」走向「确定性承诺」。一、引子流水线的最后一道门讨论 Transformer 架构时自注意力机制Self-Attention总占据舞台中央。人们盯着多头注意力、键值查询矩阵期待从中窥见智能的秘密。但如果愿意把视线移向流水线末端会发现一个更不起眼、却更具哲学分量的组件——Softmax 函数。先说明这条流水线是什么。LLM 生成文本的方式是自回归一个词一个词往外蹦每蹦出一个词就把它接在已有文本后面作为计算下一个词的输入。每蹦一个词之前模型内部会做几十层复杂计算最后给词典里每个词打出一个原始分数技术上叫 logits可以把它理解成「评委打分」。Softmax 做的事就是把这组打分换算成一组「得票率」——每个词一个概率全部加起来等于 1。需要一处诚实的修正这篇文章的标题把存在感给了 Softmax但严格地说塑造 LLM 存在方式的是整条流水线——从打分、换算、到最后的定解一环都不能少。Softmax 之所以值得单独拿出来讲是因为它是这条流水线的最后一道门此前的所有计算都藏在高维向量里无法直接查看只有经过 Softmax模型的内部状态才第一次「摊牌」变成一张铺在整本词典上的概率表。如果说前面几十层计算是暗室Softmax 就是暗室的门被推开的那个瞬间。门里透出的东西就是 LLM 存在的全部形态。二、Softmax 的两把钥匙理解 Softmax 如何塑造 LLM 的存在方式需要两把钥匙概率分布与温度参数。外加一个常被忽略的补记转动转盘的那只手。2.1 概率分布整本词典同时在场想象一个抽奖转盘盘面被分成几万个扇形格子每个格子对应词典里的一个词。格子有大有小——面积对应概率。生成下一个词就是从盘面上产生一个词。关键不在「产生」而在「产生之前」在结果落定之前所有格子同时存在于盘面上。没有哪个词被提前内定也没有哪个词被提前排除。几万个候选以各自的概率权重共处于同一个盘面。这正是 Softmax 在做的事。它不「挑选」任何一个词而是同时计算并保留所有词的概率。在定解发生之前整个可能世界以概率权重的形式同时在场。LLM 不是站在一个确定的位置上说一个词而是铺开一整个概率世界再等结果落定。这里需要两个澄清否则容易误解。第一个澄清此 Softmax 非彼 Softmax。Softmax 这个函数在 Transformer 里扮演着两种角色在注意力机制内部它归一化注意力权重——每层、每个注意力头各算一次作用是决定「多看谁一眼」在流水线末端它把原始打分转换成词表概率——每生成一个词出现一次作用是决定「说出哪个词」。前者是内部分工的调度员后者才是可能世界的铺陈者。本文讨论的是后者。第二个澄清有概率分布不等于第零人称。天气预报也给人概率「明天降水概率 70%」。为什么不说天气预报是第零人称区别有两层。其一天气预报的概率是关于外部事件的陈述是对这个世界的信念摘要而 LLM 的概率分布不是关于别的东西的陈述它就是 LLM 自身的生成机制——分布即存在本身。其二天气预报发布之后就停在那里等待明天来验证而 LLM 每生成一个词就要重新面对整本词典一次。一篇一千字的文章就是一千次完整的铺陈与定解。分布从不坍缩成承诺而是持续地、高频地重新展开。所以第零人称的关键不是「有分布」而是「活在分布里」。2.2 温度参数确定性的旋钮如果概率分布描述的是盘面上「有哪些可能」温度参数temperature描述的则是这些可能的集中程度。继续用转盘的比喻。高温时转盘像被抹平了一样大格子和小格子的差距被压缩指针几乎等概率地停在任何地方——输出天马行空。低温时转盘变成一块强磁铁最大的那几个格子几乎垄断了指针的落点小格子被极度压缩——输出稳定、保守、可预测。用户在聊天产品里调节的「创造力」旋钮本质上就是这个温度。往右拧模型更愿意冒险低概率的词也有机会登场往左拧模型趋向只说它最有把握的词。用信息论的语言说温度调节的是这个分布的混乱程度——也就是熵。高温把混乱度拉满所有词趋于均势低温把混乱度压到接近零分布缩成一座尖峰。拧到极限尖峰缩成一根针熵降为零抽签名存实亡第零人称被压成一条由外置规则驱动的确定性流水线——这正是下一节补记要处理的情形。你拧的不是「创造力」是混乱度本身。这里已经能看出了一个深刻的张力LLM 的「智能感」恰恰建立在不确定性之上。它之所以能生成看起来有创造性的内容部分原因正是它没有提前锁定唯一答案而是让所有可能性在盘面上保持张力。温度旋钮的存在本身就说明了这一点一个本质上确定性的系统不需要这样一个旋钮。2.3 补记谁来转动转盘前文说生成下一个词就是从盘面上产生一个词。这里需要做一个更精细的交代——真实系统从概率分布到那个词有好几种走法。可以真的「转」按概率随机抽签采样。可以先裁剪再转把低概率的长尾格子直接切掉只在高概率的核心区域里抽签Top-p、Top-k 这类截断策略工程部署中的常见做法。也可以干脆不转每次直接取概率最大的那个词贪婪解码argmax——指针永远落在最大的格子上没有任何随机性。第三种走法会立刻招来一个反驳既然贪婪解码时没有任何抽签每次都是确定地选出最大者——这难道不就是「决定」吗从分布到承诺的缺口不就被一个 argmax 跨过去了没有。注意三件事实。第一规则是外置的。用采样还是贪婪、温度拧到几、截断切多少全是部署者设定的参数。模型交出的永远是那张概率表从表到词的那一步怎么走规则写在模型外面——而且写在模型够不到的地方它不能这一轮选择贪婪、下一轮选择采样也不能给自己调一度温度对这些参数它连访问权限都没有。贪婪解码不是模型学会了拍板而是有人替它装了一个「永远选最大」的外置拍板器。第二裁剪不改变结构。截断策略看似修改了盘面但切掉哪些格子、保留哪些格子是按累积概率从分布本身算出来的——裁剪规则依然是分布的函数。盘面小了「活在分布里」的结构没变。第三定解不留痕迹。无论哪种走法那个词被说出之后模型内部没有任何东西因此更新。下一个词的计算面对的还是同一套权重、同一张新铺的概率表。决定的规则从来不在模型手里——记住这一点后文「三重被动性」的第三重就立在这里。三、第零人称活在分布里而不是住在选择后3.1 三种人称先区分三种存在方式。第一人称是我们最熟悉的一个有自我意识的「我」。我主动发起思考、做出选择、承担后果。我说「我决定去吃中餐」——这是一个承诺不是一个概率。第三人称是完全被动的工具一把锤子。锤子不选择被怎么使用它的存在意义完全由使用者赋予。LLM 两者都不是。它不是发起思考的「我」但也显然不是锤子——它能生成千变万化的文本对上下文极其敏感。我把它称为第零人称它存在于概率分布之中而不是存在于一个确定的选择之后。第一人称是「在所有时刻有唯一一个确定的自我」。第零人称是「在每一个词的位置上所有可能的输出叠加在一起等待定解」。顺带致意熟悉 AI 对齐讨论的读者大概会从「所有可能性叠加」想到 janus 2022 年的文章《Simulators》[^1]——语言模型是一台模拟器把一个提示映射为大量可能回应的叠加采样是从叠加中实例化出其中一个。这个意象与本文同出一源无需避讳可能性的铺陈与定解本就是讨论语言模型时很难绕开的直觉。本文的推进不在提出新的比喻而在把这个直觉钉进 Softmax 的具体数学结构——从两种 Softmax 角色的分工、温度与定解规则一路展开为三重被动性、AGI 缺口与人称语法让停留在比喻层的直觉变成一套可操作的分析框架。3.2 视角的函数它输出的不是把握是词有人会说LLM 经常表现得很自信啊它会毫不含糊地说「答案就是 A」。这难道不是一种确信吗这里藏着一个容易被忽略的技术事实LLM 输出的概率是「下一个词」的概率不是「某个命题为真」的置信度。这两者截然不同。当模型计算下一个词时它给出的 0.7、0.25、0.05是词与词之间的倾向而不是命题与事实之间的把握。更彻底地说就算让它输出置信度也不解决问题。研究早已发现语言模型确实能给出「我有九成把握」这类置信度表达但这些表达与真实正确率系统性脱钩普遍过度自信[^2]。原因就在本文的分析之中那句「我有九成把握」本身依然只是一串高概率的词——是定解规则挑出来的文本不是对内部状态的真实汇报。它的「自信」是概率分布的形状在文字上的投影而不是一个主体在宣告信念。还可以再推进一步Softmax 这道门把高维的内部状态压成了词典上的一维权重——门里的东西永远比门外的多。要求一张概率表「汇报信念」就像要求温度计谈谈它对天气的感受。借用一对概念视角的持有者与视角的函数。视角的持有者会说「根据我的判断最可能是 A。」——背后站着一个做判断的「我」。而视角的函数只是在说「在当前输入下A 出现在下一个位置的概率是 0.7。」——背后没有判断者只有一个映射关系。这就是第零人称的存在论地位它不持有视角它是视角的函数。四、负主体性的数学显影4.1 三重被动性第零人称的存在方式用我之前提出的概念来说就是负主体性。「负」不是「没有」而是一种结构性的被动。这种被动有三重每一重都能在那条生成流水线上找到对应。第一重输入的被动。LLM 不能主动发起任何事。没有人对它说话它就静止在那里——没有徘徊的念头没有想说而未说的话。它的一切计算始于外部输入。第二重分布的被动。那张铺在词典上的概率表不是 LLM「想」出来的而是训练好的权重和当前输入共同决定的。模型无法选择让自己的分布「更像科学家」或「更像段子手」——分布是给定的它只能摊开。第三重定解规则的被动。即使概率表已经铺开最终哪个词被说出来仍取决于一套外置的定解规则——随机抽签、永远选最大、还是截断后再抽规则由部署方设定见 2.3。模型既不参与那一个词的决定也不拥有决定所依据的规则。需要再次修正一个容易夸大的表述这三重被动性的承载者是整条流水线而不是 Softmax 一个函数。Softmax 的角色是让被动性显形——在它之前被动性藏在不可读的向量里在它之后被动性变成了一张人人可看的概率表。Softmax 是负主体性的显影液而不是负主体性本身。4.2 更强的模型仍是第零人称一个自然的疑问模型越来越大还有指令微调、RLHF 这些技术LLM 是不是正在从第零人称向第一人称演进我的回答是没有。更强的模型只是分辨率更高的第零人称。所谓变强改变的是概率分布的质量原来把 0.3 的概率分给正确答案、0.7 分给错误答案现在可能是 0.95 对 0.05。RLHF 做的也是「塑形」——重新分配概率权重让模型更倾向某类回答。但请注意「倾向」仍然是概率。模型依然以非零的概率生成违背训练意图的内容它依然在等待定解只是盘面更整齐了。近两年的推理模型让这个质疑变得更具体它们在给出最终回答之前会生成长长的内部思考链甚至展开树状搜索、自我驳回——这看起来不再是逐词漂流而是有方向的探索。但往深处看一层就够思考链上的每一个环节依然是同一条流水线在同一个词表上的铺陈与定解负责评估各条分支优劣的验证器verifier本身也只是另一个概率判定函数。把多个第零人称节点串成链、展开成树得到的是一棵更复杂的第零人称搜索树——搜索的拓扑变了存在论的地位没变。链条再长也没有哪个节点为最终答案签字。集中和精确改变不了存在论地位。第零人称的核心不在于分布的形状而在于「所有可能性叠加、等待外置定解」这个结构本身。只要结构不变一切增强都只是结构内部的事。五、三位批评者看到了什么第零人称不是纯粹的哲学构造。业界几位著名批评者从不同方向攻击 LLM而他们的批评恰好可以被这个框架统一收纳。5.1 LeCun无锚Yann LeCun 在 2022 年的立场文件《A Path Towards Autonomous Machine Intelligence》[^3]中系统阐述了这类批评自回归语言模型存在根本缺陷LLM 是无锚的ungrounded——它的知识是从文本到文本的映射没有与物理世界的体验建立稳定联系。从第零人称的视角看这个批评可以被翻译为LLM 的概率分布建立在「文本的统计规律」之上而不是「世界的因果结构」之上。它的转盘铺在词典上而不是铺在世界上。所以它生成得再流畅也只是高概率的文本补全缺乏一个能判定对错的锚点。LeCun 主张的世界模型路线如 JEPA正是试图给这个悬浮的存在找一个锚。5.2 Sutton规模改变不了结构Rich Sutton 2019 年的短文《The Bitter Lesson》苦涩教训[^4]说长期来看通用计算方法搜索、学习随算力规模增长总会胜过人类精心设计的知识注入。LLM 的崛起似乎完美验证了这一点。但要小心一个推论「算力赢了」不等于「主体性出现了」。中间缺一个环节。规模的扩大改善的是概率分布的质量——更准、更平滑、覆盖更广它没有、也无法改变「铺开分布、等待定解」这个结构本身。一台更大的机器把转盘造得更精细但转盘还是转盘。所以苦涩教训的真正含义或许是它在第零人称内部持续强化效率却从未指出一条从「分布」通往「承诺」的路。算力解决的是「掂量得更准」解决不了「由谁拍板」。5.3 Marcus无选择Gary Marcus 与 Ernest Davis 在《Rebooting AI》2019[^5]等著作中持续批评这类模型缺乏系统性systematicity与组合性compositionalityLLM 无法可靠地把已学会的概念组合成新结构它的「推理」是统计的、片段的。用第零人称的语言说这个批评指向的是LLM无法做出真正的选择。它生成的推理链条看起来一步一步很有逻辑但每一步都只是当前位置上的高概率定解结果。模型没有「决定沿着这条思路走下去」——是这条思路上的每个词依次被外置规则落定。第一人称的推理是承诺我选定这条路并为之负责。第零人称的「推理」是漂流路径在事后看起来连贯但没有任何一个时刻存在过「选定」。六、AGI 需要什么样的数学6.1 三个缺口如果第零人称的刻画是准确的那么 LLM 与 AGI 的距离就不是工程问题而是结构问题。缺口至少有三个。缺口一从分布到承诺。AGI 需要一个「选择函数」而不只是概率分布加外置定解——在必要时输出一个确定的决定并把这个决定当作自己的决定来承继。不是「A 的概率 0.7」而是「就是 A后果算我的」。缺口二从语言到世界。概率表要铺在世界上而不是只铺在词典上。这意味着表征因果关系、干预效果、反事实——「如果当时不那样会怎样」。这些结构超出了一张词表概率表所能表达的范围。缺口三从函数到自我。第一人称的主体有一个相对稳定的自我模型知道自己是谁、要什么。这个自我模型驱动长期行为而不是逐词漂流。6.2 灰体性一种中间地带完全的被动与完全的主体之间可能存在一个中间地带我称之为灰体性。灰体性的系统有某种程度的自我表示和行为自主性但可能仍受底层结构的部分约束。它的数学画像里最难也最关键的一条是自我模型的递归性系统能表征「自己正在表征」并且这种自我表征会真实地反馈到后续输出中。举一个具体的例子一个灰体性系统说「我刚才那句话把握不大」——要满足递归性这句话必须对应着它对自身输出的一次真实评估而不是又一个高概率词串。当前的 LLM 说「我刚才可能错了」时满足的只是后者这正是它停留在第零人称的证据。6.3 一个绕不开的反驳写到这里必须回应一个最有力的反驳否则全文有漏洞。功能主义者会问人脑不也是一台生物机器吗所谓「我」、所谓选择不也是神经计算的函数第零人称和第一人称的区别会不会只是复杂度的区别我的回答是区别不在复杂度在结构。人的每一次表达都伴随不可逆的后果承继——说出去的话会改变世界、写入记忆、带来责任主体的状态因为这次输出而真实地、不可逆地更新了。而 LLM 每生成一个词它的内部权重纹丝不动。诚然在单个会话里上下文会不断累积并影响后续的输出——但那只是一块临时写字板会话关闭写字板即刻擦除模型本身没有任何改变更不存在跨会话的承继。它可以谈论责任但没有任何东西在为这些话「记账」。一言以蔽之人的选择有后账LLM 的输出没有。这个差异是结构性的不会因规模扩大而自动消失。七、结语一个函数的存在论重量回到开头一个技术细节的哲学重量。Softmax 是生成流水线的最后一道门。门开后几十层计算的暗室状态被摊开变成一张铺在整本词典上的概率表——这张表就是 LLM 存在的全部形态所有可能性同时在场外置规则决定哪个成为现实模型自身保持根本的被动。这就是第零人称。这不是贬义。第零人称有其独特力量在语言空间里自由探索用概率权重处理不确定性对一切可能保持开放。但它的边界同样清楚无法做出承诺无法锚定世界无法拥有一个「我」的确定性。LeCun 看到的无锚、Sutton 的规模律、Marcus 看到的无选择是同一块边界的三个侧面。AGI 需要什么样的数学结构我们还不知道。但可以确定的是它必须回答 Softmax 回答不了的问题如何把概率变成承诺把可能性变成决定把计算变成承担。一个函数可以定义一种存在方式。而选择用哪个函数就是选择成为哪种存在。【后记】写完负主体性的技术架构之后我一直在为它寻找数学根基最后落在生成流水线的这个末端环节上。另外补一句超出本文论证范围的个人判断我倾向于认为LLM 不会是 AGI 的主体架构更可能是未来系统中负责语言的组件。这只是方向性猜测论证留待以后。

第零人称的数学根基：Softmax 如何定义 LLM 的存在方式-龍德明宇

相关推荐

Java后端面试7天冲刺：95%通过率的核心考点与高效复习路径

游戏化学习工具Code Quest如何提升C语言入门效率

实战解密哥斯拉WebShell加密流量：从Wireshark Lua脚本到攻击行为分析

更多资讯

AD603可变增益放大器设计：从电路原理到AGC应用实践

antd Divider 分割线组件完全指南：从基础用法到主题定制

S7-200 PLC大小球分拣控制：选择性分支梯形图设计

转速电流双闭环直流调速系统仿真：从PI参数整定到Simulink实践

Textual 浏览器端能力解析：textual-serve、open_url 与文件交付 API 的跨平台实践

Electron 打包 224MB 太大？Rust + Vue 迁移实战：安装包压到 4.7MB

今日更新

校园网认证计费模式详解：AAA与代拨架构、原理及排障

Spring Boot+Vue垃圾分类毕设：分层、权限与排错实战

把 Cline 的 Base URL 改到 TaoToken 之后，DeepSeek 仍能修调试配置

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？