用Excel看懂LSTM：手把手模拟门控机制与前向传播全过程-北京尧图网络

LSTM 往往是很多人学习序列模型时第一道坎。公式不过五六行但真要把“遗忘门、输入门、候选值、输出门、细胞状态更新”串起来讲清楚大多数人会卡在原地。尤其是用了深度学习框架之后调用一个现成的 LSTM 模块只要一行代码数据进去、结果出来中间过程变成了彻底的黑盒反过来对着公式手推很快又会被上标下标和矩阵维度绕晕。今天我就用 Excel 把一个 LSTM 的前向计算过程完整“演”一遍不写 Python、不调深度学习框架只用单元格公式把输入、权重、各类门控值、细胞状态和隐藏状态全部铺开一步一步算出网络到底在做什么。我搭建的例子是输入维度为 2、隐藏单元数为 2 的极简 LSTM同时给出一套完整参数和可复制的 Excel 公式布局。如果你正处于“代码会调、公式会背、但别人一问细节就卡壳”的阶段或者正准备给别人讲清楚 LSTM 的内部机制这套模拟表会给你一种非常踏实的“手感”。1. 为什么我坚持用 Excel 模拟 LSTM 而不是直接看代码1.1 黑盒带来的学习困境很多人学 LSTM 的第一个动作是去读框架文档然后调用现成的网络层。训练和推理都能跑通但中间发生了什么基本不知道。我见过不少初学的人能把“LSTM 有三个门”这句话说得很顺可一旦问到“细胞状态是怎么从上一个时刻传到下一个时刻的”“输出门乘的到底是谁”就陷入沉默。问题不在理解能力而在学习路径。公式是抽象的代码是封装好的两者之间缺了一座桥一张能看清每个中间数值的“计算地图”。没有这张地图理论永远是悬浮的。1.2 Excel 单元格天生适合当计算过程显微镜Excel 最朴素的特点是每个单元格既能存数值也能存公式。这意味着我可以把 LSTM 的每一个中间量——线性组合结果、sigmoid 输出、tanh 输出、细胞状态值、隐藏状态值——都单独占一格。任何一个数字的变化下游所有相关单元格都会实时刷新。这种“所见即所得”的交互体验是读公式和看终端打印很难替代的。尤其是当你想理解矩阵乘法里的某个元素到底和哪些输入相乘时Excel 的公式引用关系本身就会告诉你答案。1.3 这篇模拟适合谁以及它的边界这套模拟表最适合三类人正在学 LSTM、需要把公式和计算过程对上的初学者准备面试或汇报需要能徒手推演 LSTM 前向传播细节的人需要给学生或同事做演示想找一个可交互小工具的人。需要提前说明的是本文模拟的是 LSTM 的前向传播过程不涉及反向传播和梯度更新。反向传播在 Excel 里也能做但误差项跨时间步传递非常繁琐那是另一个值得单独展开的话题。2. LSTM 单步前向传播的数学流程拆解2.1 记号与维度约定我的迷你 LSTM 输入维度为 2隐藏单元数为 2。也就是说每个时刻的输入x_t是一个二维向量隐藏状态h_t、细胞状态c_t也都是二维向量。权重分成两套U负责变换输入x_tW负责变换上一个时刻的隐藏状态h_{t-1}另外还有偏置向量b。这套记号很常见但初学者经常忽略一个关键点每个门都有自己的U、W、b所以一共有四套权重参数。写成记号就是U_f, W_f, b_f、U_i, W_i, b_i、U_c, W_c, b_c、U_o, W_o, b_o。下标f对应遗忘门i对应输入门c对应候选值o对应输出门。2.2 一个时间步内到底算了几件事以时刻t为例输入是x_t上一时刻的状态是h_{t-1}和c_{t-1}。这个时间步内依次发生以下计算f_t sigmoid(U_f * x_t W_f * h_{t-1} b_f) 遗忘门 i_t sigmoid(U_i * x_t W_i * h_{t-1} b_i) 输入门 g_t tanh(U_c * x_t W_c * h_{t-1} b_c) 候选记忆 o_t sigmoid(U_o * x_t W_o * h_{t-1} b_o) 输出门 c_t f_t * c_{t-1} i_t * g_t 细胞状态更新 h_t o_t * tanh(c_t) 隐藏状态输出这里的*表示逐元素相乘也就是 Hadamard 积。用 Excel 做的时候逐元素乘就是最简单的单元格乘法不需要任何特殊函数。2.3 门的语义软开关而非硬开关遗忘门f控制旧记忆c_{t-1}保留多少输入门i控制新写入的记忆g_t进入多少g_t本身是“这步真正想记住的内容”符号可正可负输出门o控制细胞状态c_t对外暴露多少。一个容易踩的理解误区是把“门”想象成 0 或 1 的二值开关。实际上门的输出是 0 到 1 之间的连续值。看到f_t 0.69时意思是 69% 的旧记忆会被保留而不是“要么全留要么全丢”。这个细节在 Excel 表里看得很清楚。3. Excel 模拟器的总体布局与参数设定3.1 核心思路一行一个时间步这套表最关键的布局决策是“一行一个时间步”。从第 2 行开始每行代表一个时刻t列方向从左到右依次是输入、旧状态、各门线性组合结果、各门激活结果、细胞状态、隐藏状态。这样设计的好处是只要第一行公式写对往下复制一行就能自动算下一步。主表共使用 A 到 AC 列含义如下列内容说明At当前时间步编号B、Cx1, x2当前输入向量 x_tD、Eh1_prev, h2_prev上一时刻隐藏状态 h_{t-1}F、Gc1_prev, c2_prev上一时刻细胞状态 c_{t-1}H、Ipre_f1, pre_f2遗忘门线性组合结果J、Kf1, f2遗忘门 sigmoid 输出L、Mpre_i1, pre_i2输入门线性组合结果N、Oi1, i2输入门 sigmoid 输出P、Qpre_g1, pre_g2候选值线性组合结果R、Sg1, g2候选值 tanh 输出T、Upre_o1, pre_o2输出门线性组合结果V、Wo1, o2输出门 sigmoid 输出X、Yc1, c2当前细胞状态 c_tZ、AAtanh_c1, tanh_c2tanh(c_t)AB、ACh1, h2当前隐藏状态 h_t第 2 行是 t1 的初始行D2、E2、F2、G2 直接填 0代表h_0 [0, 0]、c_0 [0, 0]。3.2 参数区安放位置参数区我建议放在同一张表的右侧从 AE 列开始。这样主表公式可以直接引用参数区的绝对地址并且不会破坏主表的连续结构。具体位置如下参数区域U_fAE2:AF3W_fAG2:AH3b_fAJ2:AK2U_iAE6:AF7W_iAG6:AH7b_iAJ6:AK6U_cAE10:AF11W_cAG10:AH11b_cAJ10:AK10U_oAE14:AF15W_oAG14:AH15b_oAJ14:AK14这套参数是我随手构造的“玩具网络”数值不是训练出来的但足够走通全部计算。你完全可以在复现之后随意改动这些数字观察输出怎么变化。U_f [[0.5, 0.2], [0.1, -0.3]] W_f [[0.4, -0.2], [0.3, 0.5]] b_f [0.2, -0.1] U_i [[0.3, -0.1], [0.2, 0.4]] W_i [[0.1, 0.3], [-0.2, 0.4]] b_i [0.1, 0.2] U_c [[0.8, 0.3], [-0.2, 0.5]] W_c [[0.2, -0.4], [0.1, 0.3]] b_c [0.0, -0.2] U_o [[0.4, 0.1], [0.3, -0.2]] W_o [[0.5, 0.2], [-0.1, 0.3]] b_o [0.3, 0.1]把上面这些数值按区域填进表里参数区就准备好了。3.3 初始状态和第一个输入t1 步的输入我取x [1.0, 0.5]。因为h_0和c_0都是零向量所以第一步计算里所有涉及上一时刻隐藏状态的项暂时不起作用你能更清楚地看到“输入 x 是如何独自驱动各个门的”。4. 关键 Excel 公式怎么写照着填就能跑4.1 三种基本公式组件这套表本质上是反复使用三个小套路第一个是线性组合也就是U * x W * h b。在 Excel 里最方便的写法是用SUMPRODUCT它会自动把两个同长度区域的对应元素相乘再求和正好完成矩阵乘法的一行结果。第二个是 sigmoid 函数Excel 没有内置这个函数但可以用1/(1EXP(-z))直接表达z就是某个线性组合单元格。第三个是 tanhExcel 自带TANH函数直接用即可。4.2 第 2 行的公式模板以 t1 所在第 2 行为例核心列公式如下H2 SUMPRODUCT($AE$2:$AF$2,$B2:$C2) SUMPRODUCT($AG$2:$AH$2,$D2:$E2) $AJ$2 I2 SUMPRODUCT($AE$3:$AF$3,$B2:$C2) SUMPRODUCT($AG$3:$AH$3,$D2:$E2) $AK$2 J2 1/(1EXP(-H2)) K2 1/(1EXP(-I2)) L2 SUMPRODUCT($AE$6:$AF$6,$B2:$C2) SUMPRODUCT($AG$6:$AH$6,$D2:$E2) $AJ$6 M2 SUMPRODUCT($AE$7:$AF$7,$B2:$C2) SUMPRODUCT($AG$7:$AH$7,$D2:$E2) $AK$6 N2 1/(1EXP(-L2)) O2 1/(1EXP(-M2)) P2 SUMPRODUCT($AE$10:$AF$10,$B2:$C2) SUMPRODUCT($AG$10:$AH$10,$D2:$E2) $AJ$10 Q2 SUMPRODUCT($AE$11:$AF$11,$B2:$C2) SUMPRODUCT($AG$11:$AH$11,$D2:$E2) $AK$10 R2 TANH(P2) S2 TANH(Q2) T2 SUMPRODUCT($AE$14:$AF$14,$B2:$C2) SUMPRODUCT($AG$14:$AH$14,$D2:$E2) $AJ$14 U2 SUMPRODUCT($AE$15:$AF$15,$B2:$C2) SUMPRODUCT($AG$15:$AH$15,$D2:$E2) $AK$14 V2 1/(1EXP(-T2)) W2 1/(1EXP(-U2)) X2 F2*J2 N2*R2 Y2 G2*K2 O2*S2 Z2 TANH(X2) AA2 TANH(Y2) AB2 V2*Z2 AC2 W2*AA2这套公式里有大量$绝对引用目的是固定参数区而B2:C2、D2:E2这类相对引用会随着行号变化自动更新。很多人在这一步容易出错如果参数区里的行号没加$往下拖动公式时参数区也会跟着跑结果全错。4.3 时间步之间怎么联动第 3 行往后的转移逻辑很简单。第 3 行的旧状态直接引用第 2 行的输出A3 2 B3、C3 输入 x_2 D3 AB2 E3 AC2 F3 X2 G3 Y2然后选中 H2 到 AC2 的所有公式整体向下填充到第 3 行。公式里的相对引用会自动变成 B3、C3、D3、E3 等完成“把上一时刻的 h 和 c 送进当前时刻”的闭环。5. 数值算例t1 的完整计算过程与预期结果5.1 遗忘门和输入门先看线性组合第一步里h_0 0所以遗忘门的线性组合只剩下输入和偏置pre_f1 0.5*1 0.2*0.5 0.2 0.80 pre_f2 0.1*1 (-0.3)*0.5 - 0.1 -0.15sigmoid 后得到f1 sigmoid(0.80) ≈ 0.6900 f2 sigmoid(-0.15) ≈ 0.4626输入门同理pre_i1 0.3*1 (-0.1)*0.5 0.1 0.35 pre_i2 0.2*1 0.4*0.5 0.2 0.60sigmoid 后得到i1 sigmoid(0.35) ≈ 0.5866 i2 sigmoid(0.60) ≈ 0.6457这里能看到一个关键现象遗忘门两个分量为 0.69 和 0.46都不等于 0 或 1。所谓“门”确实是按比例放行。5.2 候选值tanh 提供新记忆的内容候选值的线性组合pre_g1 0.8*1 0.3*0.5 0.0 0.95 pre_g2 -0.2*1 0.5*0.5 - 0.2 -0.15tanh 后得到g1 tanh(0.95) ≈ 0.7398 g2 tanh(-0.15) ≈ -0.1489这里值得留意g2是负数。这说明“候选记忆”并不一定为正值它可能给细胞状态带来负向修正而不是单方向往上涨。5.3 细胞状态更新旧记忆保留与新记忆写入因为c_0 0第一步的细胞状态全部来自新写入贡献c1 f * c0 i * g c1_1 ≈ 0.5866 * 0.7398 ≈ 0.4340 c1_2 ≈ 0.6457 * (-0.1489) ≈ -0.0961从数值上看第二个维度的细胞状态变成了负数这就是前面的负向候选值和输入门共同作用的结果。LSTM 的记忆更新不是“只增加”而是会根据输入修正旧内容。5.4 输出门与隐藏状态输出门的线性组合pre_o1 0.4*1 0.1*0.5 0.3 0.75 pre_o2 0.3*1 (-0.2)*0.5 0.1 0.30sigmoid 后得到o1 ≈ 0.6792 o2 ≈ 0.5744再计算tanh(c1)和最终隐藏状态tanh(c1_1) ≈ 0.4086 tanh(c1_2) ≈ -0.0957 h1_1 o1 * tanh(c1_1) ≈ 0.2775 h1_2 o2 * tanh(c1_2) ≈ -0.0550最终 t1 的中间结果汇总如下可以用来自查 Excel 表位置预期数值f0.6900, 0.4626i0.5866, 0.6457g0.7398, -0.1489o0.6792, 0.5744c0.4340, -0.0961tanh(c)0.4086, -0.0957h0.2775, -0.0550只要 Excel 表里这些值和你手算的一致说明公式和参数区布局没有问题。5.5 继续走到 t2状态开始“接力”从 t2 开始公式会变得丰富起来因为h1和c1不再为零。比如把第二个时刻输入设为x2 [0.2, 0.8]第 3 行的旧状态列引用AB2/AC2/X2/Y2整个计算会把上一时刻的信息和当前输入组合到一起。建议你在 Excel 里把第 3 行拖出来之后重点看一下遗忘门列它的取值不再只由输入和偏置决定还受h1影响。这就是循环神经网络“带着状态看新输入”的本质。手动拖动一行、观察一次数值变化比背诵十遍公式都有用。6. 用模拟器观察到的几个反直觉现象6.1 门是连续的“软开关”不是“要么留要么丢”很多人第一次看门控名字时会误以为遗忘门输出 0.9 就意味着“保留 90%”输出 0.1 就意味着“只留 10%”。这个理解大体没错但不够深刻。真正值得注意的是在随机初始化的权重下门的输出经常落在 0.4 到 0.7 之间而不是极端接近 0 或 1。也就是说LSTM 初始状态下是“模棱两可”的它要靠训练去学会把某些门推向饱和。在 Excel 表里改几个权重你会直观看到这个“推向饱和”的过程需要多大的参数变化。这比直接看论文里的门控示意图更接近真实体验。6.2 细胞状态可以超出 [-1, 1]隐藏状态却不会继续看 X 列和 AB 列你会发现细胞状态c_t的绝对值完全可能大于 1因为它的更新公式只有乘法和加法没有激活函数约束而h_t因为外面包了一层tanh输出始终被压在(-1, 1)区间内。这两者的分工因此非常明确细胞状态是内部长期存储可以不受限于固定范围隐藏状态是对外接口需要保持数值稳定。这也是为什么网络内部经常把c称作“传送带”把h称作“对外展示窗口”。6.3 候选值可能是负数LSTM 不是只能往记忆里“加东西”我在前面算出的g2 -0.1489就是一个例子。输入门虽然负责“写入”但它同时也在做“选择”当选入的候选值是负数时细胞状态会被往下修正。换句话说LSTM 的长期记忆可以同时被增强和抑制这个“抑制”能力来自 tanh 的负值区间而不是某个专门做减法的门。想更直观地看这一点可以把U_o或U_c中某个权重改成反号观察细胞状态列的正负变化。这个小实验能帮你彻底摆脱“记忆只能越积越多”的错误直觉。6.4 多步运行之后隐藏状态的活动幅度会趋于稳定区间把表继续往下拖几行随机给几个输入观察 AB 列和 AC 列的变化范围。你会发现h_t的数值通常不会越跑越大也不会突然消失而是维持在一个有限的活动区间内。这背后正是 sigmoid 和 tanh 把信号压在有界区间内的结果。从某种意义上说这个观察能为理解梯度消失问题提供一个可视入口每一步计算都在对信号做有界压缩长序列下状态携带的信息会逐渐稀释。所以现代序列模型常常需要残差连接、门控初始化等技巧来缓解长距离依赖问题。这个层面的分析已经不是单纯背公式能得到的感觉了。最后再分享一点实际操作的体会做完这套 Excel 模拟之后我养成了一个习惯每次搭完一张类似的“计算地图”都会立刻改一两个参数盯着几个关键输出列的变化。这种改一改、看一看的操作比读十篇理论文章更能建立对模型参数的直觉。你现在复现完这张表也可以试着把某个偏置项从 0.2 改成 2再看门控输出的变化趋势感受偏置对整个细胞状态更新的影响力。如果你已经把前向传播跑通了下一步有两个值得扩展的方向一是在表尾追加一层线性输出接一个分类任务二是把误差项按时间步反向列出来做一次手推反向传播。后面这个主题做起来很繁琐但一旦做通LSTM 对你就不再有任何黑盒成分了。

用Excel看懂LSTM：手把手模拟门控机制与前向传播全过程

相关推荐

Dify接入MCP工具实战：从协议原理到Agent配置全攻略

Vue电商脚手架：带状态机Mock与支付模拟的工程化模板

Windows下安装与汉化Superset：从环境准备到避坑指南

更多资讯

基于Hadoop+Spark+Hive的空气质量预测系统毕业设计实战指南

AI脱口秀诊疗：让答辩稿从书面念经变成口语表达

以太网物理层实战：双绞线、MAC帧与自动协商真相

Smartbi Excel报表JS宏实战：冻结行、隔行色与参数校验

Chatbox配置实战：密钥、模型名、API接口与常见报错排查

ASP.NET MVC 5 + Layui 快速搭建后台管理骨架

今日更新

NetSpot 实战：用信道分析与频宽优化解决 Wi-Fi 卡顿

C++ split() 字符串分割的五种实现与性能实测

R语言坐标轴范围设置：从xlim/ylim到coord_cartesian的完整指南

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？