自由能原理如何驱动神经元集群：从预测编码到最小自由能机器-北京尧图网络

这篇内容想讲清楚一件我一直觉得很有意思的事为什么一个由上千亿神经元组成的集群不会陷入混乱反而总能在不断变化的环境中保持稳定、做出反应、形成记忆。这个问题我研究了好几年越深入越发现答案很可能落在一个听起来很物理的词上——自由能。神经元集群的工作方式可以理解成一台持续运转的机器这台机器不断做同一件事把感知输入和内部模型之间的差异压到最低。这个“最低”的状态科学家称之为最小自由能这台机器就是标题里说的“自由能原理机器”。如果你对预测编码、贝叶斯大脑、或者计算神经科学感兴趣这篇文章会把自由能原理从“名词”拆成“机制”。我会先讲清楚它要解决什么核心问题再拆解它的数学骨架和神经实现最后给出一套哪怕在校生也能跑起来的最小仿真。文章里不会有过度空洞的哲学讨论更多的是一步步告诉你神经元集群是怎样在微观尺度上“算”出自由能的最小值。当然我踩过的坑、踩完后修正的认知也会一并写进来。1. “自由能机器”的诞生动机为什么生物把不确定性当成头号敌人1.1 从一个热量类比说起生存的本质是维持边界内的有序自由能这个词最早确实来自热力学。物理学家用自由能描述一个系统在恒温恒压条件下能做多少“有用功”。自由能低系统就稳定自由能高系统就会趋向混乱、分解、耗散。生物系统有一个非常显著的特征它们是一个个被边界包裹起来的小宇宙细胞有膜人体有皮肤神经元集群构成的大脑则有血脑屏障。边界内部的一切都要维持在一个狭窄的“有序区间”内体温在某个范围血氧浓度在某个范围神经递质浓度也在某个范围。要把这个有序维持住系统就得不断从环境里获取信息、调整内部状态。站在这个角度看生存可以被重新定义成一句话把“内部状态与自己预期模型之间的差异”维持在一个尽可能小的范围内。这个差异就是自由能原理里“自由能”的起点。它不是某个神经元里物理存在的能量数值而是系统内部模型与真实世界之间失配程度的一种抽象度量。失配越小系统在边界内维持有序所需付出的代价就越低生存下去的概率就越大。1.2 主动推断这台机器不只是被动预测这里有非常关键的一点我刚开始也经常理解偏。自由能机器并不只是一个“预测机器”。它包含了两条完全对称的路径。一条路径叫感知通过改变内部表征让内部模型去解释外界输入另一条路径叫行动通过改变外界输入让外界符合内部模型的预期。你转头去看视野边缘的物体你伸手去拿桌上的杯子本质上是同一种操作——把“期望中应该看到的”变成“实际看到的”。这种把感知和行动统一在同一个最小化自由能框架下的方式被称为主动推断。这就解释了一个很反直觉的现象为什么相同的感觉刺激不同的人会做出完全不同的反应因为每个人的内部模型不一样同一份感官输入在“模型A”下可能只有很小的自由能差异不需要额外响应在“模型B”下可能产生了巨大差异必须立刻改变行动来把它消除。神经元集群每天都在做这样的判断它不是先感知、再决策、再行动而是感知和行动共享同一套自由能计算系统同步进行。1.3 它和传统“刺激-反应”模型的分水岭传统神经科学的刺激-反应模型把神经元当作被动受体外界有刺激感觉通路被激活信号逐级向上传递大脑最后发指令。这样的模型能解释很多基础反射却解释不了为什么在没有外部输入时大脑仍然有大规模的持续活动。你闭上眼睛想象力照常运行你发呆时默认网络仍然在谱出一整套关于过去的故事情节。自由能机器给了一个完全不同的解释大脑永远在主动生成预测感觉输入只是用来检验预测的“证据流”。刺激不是触发反应的扳机而是和预测结果做差的“校验信号”。这套视角的重大意义在于它把神经元从“信使”变成了“假设检验器”。每一个神经集群都在同时做两件事向上级报告“我预测到的内容”向上级报告“我的预测错了多少”。理解了这一点后面所有的神经回路细节就都顺理成章了。2. 先不急着扒公式自由能到底指的哪一种量2.1 变分自由能的一次直观拆解准确度和复杂度很多科普文章在讲自由能时习惯直接扔出一个公式然后宣告“最小化自由能就是一切”。这种做法容易把人劝退也容易让人产生误解——好像大脑里真的有一个小人在算积分。其实我们只需要理解自由能构成的两种主要相互制约的力量就够了。第一项是准确度对应模型解释感觉输入的能力。如果你看到一个苹果模型给出的预测是“一个红色圆形物体”而光线进入眼睛的实际样本确实如此准确度就高。第二项是复杂度对应模型本身保持这种解释所需的“额外扭曲”。如果模型为了解释一个苹果不惜调动一大堆脱离先验的复杂假设那它的复杂度惩罚就会上升。最小化自由能就是在准确度和复杂度之间找出一个平衡点尽量解释好眼前的现象同时尽量不要把内部模型搞得过分复杂。这其实和奥卡姆剃刀是同一个直觉最简单的足够好用的解释就是最有可能的解释。贝叶斯推断把这种直觉变成了可计算的概率更新自由能原理又把贝叶斯推断从“被动的后验计算”扩展成了“主动的模型修订”。你遇到新情况时内部模型不会整套推翻而是在旧模型基础上做局部微调让增补的解释分量刚刚好覆盖新的输入差异不多也不少。2.2 最小化自由能如何长成贝叶斯更新的样子如果要用一句话给变分自由能下个定义我会这样说它是系统对“当前内部模型与真实状态之间差距”的最优估计。严格说那个差距本身无法被系统直接知道因为我们永远无法接触到“真实的真实”能接触到的只有一连串感觉样本。所以系统退而求其次用一个可计算量来逼近它先写下一个近似后验分布然后计算这个近似分布与真实后验分布之间的KL散度再加上一个“证据下界”的对数项。最终得到的就是变分自由能。最小化这个量等价于让近似后验分布越来越接近真实后验分布。而真实后验分布恰恰就是贝叶斯定理给出的那个东西——在给定观测后对各生成原因的信念修正。所以你会看到一批文献里反复出现同一个结论最小化自由能就是贝叶斯推断的变分形式。大脑不需要真的开一个微积分课它只需要在神经元集群的回路层面不断做梯度下降就能一步一步逼近那个最优解。这就是为什么我说自由能只是一个代价函数而不是物理实体。2.3 为什么说自由能是“代价函数”而不是大脑里的物理量这里我要划一条非常重要的界线。很多人听到“自由能”三个字第一反应是“大脑里有一种叫自由能的东西”。这个理解是错的。自由能不是像多巴胺、血清素那样的分子也不是像动作电位那样的信号事件。它更像机器学习里的损失函数损失函数本身不存储在任何内存地址里但它所定义的梯度方向决定了模型参数的每一次更新。所以当论文里说“神经元集群最小化自由能”时它的意思是这个集群的突触权重、放电率、活动模式正沿着能降低某个全局失配量的方向持续调整。你可以把自由能理解成一个虚拟的组织原则它的存在价值在于统一解释功能而不是作为可观测的生理指标。想明白这一点后续做仿真时你才不至于犯“我要在模型里显式跑一个自由能变量”这样的建模错误。真正需要建模的是模型参数和感觉证据之间的梯度关系。3. 神经元集群如何实际执行预测编码回路3.1 大脑的分层组织高层发预测低层回误差从解剖上看哺乳动物大脑的皮层层级非常鲜明。越接近感觉端的皮层处理的特征越简单越往联合区走抽象程度越高。早期研究者认为这条通路的职责是逐级提取更复杂的“特征”从边缘、到形状、到物体语义。预测编码理论却给了一个完全相反的信息流方向高层皮层持有的不是“底层特征”而是“对底层状态的预期”。这个过程可以类比成公司里的项目组。高层CEO高级皮层有一套业务模型他向下发出指令“按我的预期你手头的数据应该长成这个样子。”中层主管中级皮层收到指令后不是原样转发而是先和自己掌握的实际数据做比较只把“预期和现实的差量”上报。底层执行者感觉皮层负责把差量最终体现在神经活动里。这条回路里的关键动作是预测从高层流向低层而误差信号从低层流回高层。这个“对向的误差流”才是整个机制的信息骨干。3.2 两类神经元的“对话”预测神经元与误差神经元在预测编码的经典神经实现里皮层神经元被划分为两大功能类。一类是预测神经元它的放电表征的是“上一级区域对本级状态的估计”另一类是误差神经元它接收来自底层感觉信号和同级预测信号的输入计算二者的加权差并把差量传递上去。它们之间的关系可以写成很朴素的一句话预测神经元努力让自己的预测值贴合下一级的误差神经元能反馈回来的实际值误差神经元则努力感知到“预测不准”的部分向上级报告。你可能会问这种划分太干净了真实神经元能分得这么清吗真实情况当然更糊。同一群神经元可能既参与预测又参与误差编码取决于它处于哪个时间窗、哪个行为情景。但作为理论建模把两类计算角色做抽象分化是非常有用的。它解释了为什么某些刺激即使重复出现底层神经活动依然持续存在——因为只要模型还没有把预测误差压到零误差神经元就会继续放电也解释了为什么新奇刺激总能引起更强的神经响应——因为新刺激导致的预测误差更大误差信号自然更猛烈。这个框架和大量电生理实验中观察到的重复抑制现象高度吻合。3.3 精确度加权自由能机器里的“注意力旋钮”如果预测和误差只是简单相减这套机制还是太呆板。现实中不同感官通道的可靠性差异极大在暴风雨里视觉信息比听觉信息可靠在黑暗环境中听觉又反超视觉。神经元集群不能把所有误差信号一视同仁地向上传必须给每条误差信号分配一个权重这个权重就是精确度。精确度在统计上就是方差的倒数数值越大表示该感觉通道越可信。自由能机器里精确度同时出现在两个位置一是加权底层的预测误差让可靠通道的误差信号在整体计算中占更大比重二是作为系统自身的可调参数根据当前任务动态调整。很多人认为注意力是一种单独的认知控制机制但在自由能框架里注意力就是精确度加权的实际效果。你把注意力投向哪个通道本质上是把那个通道的精确度权重调高。这样你不需要给“注意力神经元”单独留一块区域注意力只是自由能最小化过程中突触增益调制带来的涌现结果。3.4 一套机制如何同时撑起视觉、运动与记忆这个框架最讨人喜欢的地方是它特别能“统一战场”。视觉中的幻轮廓形、运动中的前向模型、记忆中的情景回放看起来是完全不同的神经功能但在自由能机器里它们的算法模式完全相同。视觉上初级视觉皮层里的期望模型会预测整幅画面边界处的预测误差让轮廓被“脑补”出来运动控制上小脑等结构持有身体动态模型当实际运动轨迹与预期轨迹出现偏差时误差信号驱动运动参数快速修正记忆编码上海马区可以看成一套专门生成时空序列预测的模型——你回忆一段经历时并不是在读取一个文件而是在大脑的生成模型里重新“推演”那段情景并且不断用回忆过程中的内部一致性检验来修正细节。这三种功能共享同一种运算结构生成预测、计算误差、按精确度加权、更新模型参数。这也是为什么你只要掌握一遍预测编码就能在这么多不同神经功能之间自由切换。功能模块模型内容误差来源自由能最小化方式视觉感知场景的层级生成模型预测画面与实际画面的像素差异更新隐藏表征解释当前视野运动控制身体与外界动态模型期望轨迹与实际感觉反馈的差调整运动指令使反馈贴合预期记忆编码时空序列生成模型重构内容与内部一致性的偏差修订序列模型降低重构失真4. 搭一个最小可运行的“自由能机器”层次高斯模型仿真4.1 模型选型为什么用层次高斯模型起步如果你想亲自看看这台机器怎么运转最省力的方式是做一个层次高斯模型仿真。为什么选高斯而不是更花哨的复杂网络因为高斯分布只需要两个参数均值和方差。均值承载“模型预测的内容”方差承载“这个预测的精确度”。把两个参数分开更新你能够非常直观地观察预测编码的每一步预测怎么传递、误差怎么计算、精确度怎么影响更新步长。这个模型没有引入卷积、没有注意力头、没有大规模并行但它保留了一个完整贝叶斯推断的核心骨架所有节点之间用可微的生成关系相连所有节点都有一个对上一级节点的期望模型所有节点都通过自由能梯度做局部更新。等你看懂了它在高斯假设下的行为再回去看任何一份现代神经网络架构都会觉得里面很多结构在语义上特别熟悉。4.2 生成过程与状态更新规则先设定一个两层的生成模型。底层状态存在真实值theta代表环境某个维度的物理状态顶层状态mu代表大脑对这个状态的先验期望。观测值y由底层状态加观测噪声生成噪声方差控制观测的不可靠程度。整个系统的目标和变分自由能最小化保持一致既要让底层状态的估计尽量贴合观测值又不能让底层状态偏离顶层的预测太远。用伪码描述更新规则计算观测误差e_obs y - theta计算预测误差e_pred theta - mu按精确度加权合并两个误差得到总梯度沿着负梯度方向更新 theta 和 mu 的估计值写成公式就是 theta更新 theta lr * (precision_obs * e_obs - precision_prior * e_pred) mu更新 mu lr * precision_prior * e_predprecision_obs 来自观测噪声方差的倒数precision_prior 来自顶层先验的精度。观测噪声越小底层估计越向实测值靠拢先验越精确底层估计越向顶层预测靠拢。两个精确度之间的拉锯正是自由能最小化过程中“证据驱动”和“经验驱动”的博弈。4.3 一段Python骨架预测、误差、逆方差更新下面这段代码我用的是最朴素的 NumPy 写法保证没有任何封装黑盒每一行都能看懂。import numpy as np import matplotlib.pyplot as plt # 真实环境状态 theta_true 1.5 # 观测噪声标准差和观测精度 obs_sigma 0.8 obs_precision 1.0 / (obs_sigma ** 2) # 顶层先验均值和先验精度 mu_prior 0.0 prior_sigma 1.2 prior_precision 1.0 / (prior_sigma ** 2) # 初始内部状态 theta_hat 0.0 mu_hat 0.0 learning_rate 0.3 # 模拟一次逻辑观测值受噪声影响产生 y_obs theta_true np.random.normal(0, obs_sigma) # 预测编码的一次更新 e_obs y_obs - theta_hat # 底层观测误差 e_pred theta_hat - mu_hat # 顶层预测误差 grad_theta obs_precision * e_obs - prior_precision * e_pred grad_mu prior_precision * e_pred theta_hat learning_rate * grad_theta mu_hat learning_rate * grad_mu print(f观测值 y: {y_obs:.3f}) print(f底层状态估计 theta_hat: {theta_hat:.3f}) print(f顶层预测估计 mu_hat: {mu_hat:.3f})真实运行的时候我会把这个单步更新包进一个迭代循环里重复几十步观察 theta_hat 和 mu_hat 如何逐步逼近真值 theta_true。你会发现一个非常漂亮的现象顶层预测 mu_hat 的收敛速度明显慢于底层估计 theta_hat。因为 mu_hat 不直接接触观测噪声它只有透过底层传来的预测误差间接获得信息。这种“粗粝但稳定”的高层表征和大脑联合皮层反应慢半拍、初级感觉皮层反应快速的电生理时序特征是对得上的。4.4 仿真中我会重点看什么输出以及常见翻车点我建完这个仿真后最先看的是三个时间序列观测误差的绝对值、预测误差的绝对值、模型参数的收敛轨迹。理想情况下观测误差应该在几十步内下降并稳定在噪声尺度附近预测误差则在更慢的时间尺度上回落。如果观测误差降不下去说明底层状态的精确度设置不对或者模型容量不足如果观测误差降下去了但预测误差一直很高说明顶层先验离真实状态太远系统在“用牺牲先验的方式硬解释数据”。曾经踩过的翻车点有两个。第一个是学习率设得太大模型来回震荡底层状态在真值附近剧烈摆动有人会误判成“模型不收敛”其实纯粹是步长过冲。第二个是精度参数初始化不当观测精度设得远超先验精度时模型几乎只看观测不看先验相当于放弃所有结构化预测机器的行为退化成普通回归。这提醒我一件事——自由能最小化的“聪明”并不来自算法本身而是来自精确度参数的合理排序。这个体验放到真实大脑里也同样成立注意力的合理分配比单纯提高计算速度更能决定行为质量。5. 自由能原理机器的边界常见误读和我的使用体会5.1 误读一自由能原理只是想说“大脑喜欢预测”我见过很多人把自由能原理概括成“大脑是一个预测机器”这个说法对一半、错一半。对在预测确实占了框架很大比重错在它漏掉了主动推断那一半。大脑不只是观察世界、被动修正内部模型它还会主动改变世界让世界向模型的期望方向靠拢。你在路边看见熟人会主动走过去打招呼本质上不是“认出熟人”之后的反应而是为了让视觉输入继续符合“那个人确实是我认识的”这个预测。感知和行动在数学上对称缺了行动那一半自由能机器的解释力会大打折扣也无法解释动物为什么是“动”物。5.2 误读二以为神经元在显式地“存”一个自由能数值讨论区里偶尔能看到这种问题“自由能存储在哪个脑区”这是一个把代价函数实体化的典型误读。自由能不是一个状物实体不存在一个区域负责把自由能数值编码成电活动然后传给别人。正确的理解是自由能的梯度以突触权重变化的形式散布在全局网络里每个局部集群只需要完成自己“减少预测误差”那一小步全局的失配量自然随之下降。这非常像蚁群没有一只蚂蚁知道整支队伍的目标但每只蚂蚁沿着信息素梯度走整个蚁群却能高效完成觅食。把自由能当作全局引导梯度把它在神经元集群中的实现当作局部规则模型就既能保持理论统一性又不至于陷入“找一个自由能脑区”的伪问题。5.3 误读三把“万物理论”式的野心当成工程把手自由能原理的确有非常宏大的野心——有些文献里你甚至能看到它试图统一神经科学、心理学、热力学和机器学习。这种野心容易让新人产生两个极端反应要么奉为圭臬觉得所有实验都能用自由能解释要么嗤之以鼻认为这就是个堆砌术语的万能套话。我的立场很务实把自由能原理当成一个工程启发式的工具箱但不要指望它能替代具体的生物物理机制。具体来说我会用它来生成可检验的假说而不是用它来解释已经知道的实验结果。比如当我要研究一个感觉刺激的响应模式时我会先问预期的内部模型是什么预期的精确度权重会怎样调制预期与实际输入的差会出现在哪一层这三个问题能帮我设计出更尖锐的实验变量。但真要落到离子通道、突触传递动力学、神经调质浓度这些细节时自由能原理给不了你答案那些细节还是得回到分子和环路层面去实测。5.4 我实操下来最有价值的几个用法第一每次读完一篇神经电生理论文我都试着把它的结果改写成一局自由能叙述“神经元A的放电率对应模型预测的变化神经元B的放电率对应预测误差的变化。”这一步通常能暴露出论文里没说清楚的变量关系。第二在做任何计算模型之前先明确模型的精确度参数是固定还是可调这一个选择基本决定了模型会表现出“感知驱动”还是“先验驱动”的行为模式。第三把自由能机器当作一份通用架构清单生成模型、预测节点、误差节点、精确度权重、状态更新规则。你拿任何已有的神经网络、机器人控制算法对照这份清单都能快速找到它在这个框架中的坐标。结尾最后分享一点我自己的习惯。现在我每次看到某个神经响应现象都不会直接问“这个区域是负责什么的”而是强制自己先问一句这个区域的放电活动是在执行预测还是在计算误差是增强了对某个通道的精确度权重还是在进行模型参数修正这个思维方式听起来小实际上能显著改变实验设计的方向。你可以从今天这段最简单的层次高斯仿真开始亲手感受一下当观测噪声变大时系统为什么会更愿意相信先验当先验精度变高时底层估计为什么会更早收敛。自由能机器不是某个遥远实验室才有的精密设备它正运行在每个普通人每天睁开眼睛的过程里而你现在至少知道该怎么去看它的齿轮了。

自由能原理如何驱动神经元集群：从预测编码到最小自由能机器

相关推荐

IEEE标准节点系统仿真模型搭建与校验实战指南

无人机河道漂浮检测数据集构建实战：五类目标识别全流程解析

AI教材写作如何避开查重雷区？从底层原理到实操降重技巧

更多资讯

从OpenClaw到Moltbook：让纸质书变身AI可调用的个人知识库

Spring单例注入多例Bean失效？四种方案彻底搞懂Bean作用域

C++内存管理实战：从RAII到内存池，根治泄漏与性能问题

Python+HTML四足机器人DIY：舵机抖动与步态调参实战

开源AI助理OpenClaw接入飞书：从零搭建省下年费几百元

AI写作工具怎么选？从产品思路到真实体验的千笔AI评测

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？