尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
前向传播与反向传播到底在做什么?
训练神经网络时我们经常看到下面几行代码logits model(x) loss loss_fn(logits, y) loss.backward() optimizer.step()它们看起来只是四次函数调用背后却完成了一次完整的学习先根据现有参数作出预测再计算错误把错误逐层传回每个参数最后调整参数。可以先把这条主线记成四个词预测 → 算错 → 追责 → 更新前向传播用当前参数作一次预测前向传播是数据从输入端流向输出端的过程。假设一个网络由两层全连接层组成输入特征 x → Linear(2, 4) → ReLU → Linear(4, 1) → 预测值每一层读取上一层的输出用自己的权重和偏置完成计算再把结果交给下一层。执行prediction model(x)就是在进行一次前向传播。此时模型只是用当前参数回答问题参数还没有发生变化。前向传播会保留计算过程中必要的关系。例如某个输出由哪些输入、权重和中间结果得到。这些关系会组成后续反向传播需要的计算图。损失函数把预测变成一个错误分数模型给出预测后需要和真实答案比较loss loss_fn(prediction, target)损失函数把整批样本的预测误差汇总成一个标量。这个数不只是用来显示训练效果它还是反向传播的起点。如果没有损失就不知道模型要朝什么方向调整。损失越小通常说明当前预测越接近训练目标。反向传播计算每个参数对错误负多少责任调用loss.backward()并不会直接修改参数。它做的是计算梯度。梯度回答的问题是某个参数稍微增大一点损失会增大还是减小变化有多明显神经网络有很多层损失位于网络末端。反向传播会从损失开始沿着前向传播留下的计算关系反方向逐层计算损失 → 输出层参数的梯度 → 隐藏层参数的梯度 → 更前面各层参数的梯度这背后的数学工具是链式法则。可以把它理解成一次逐级追责最终结果出了问题就从最后一步开始向前判断每一步对结果造成了多大影响。反向传播结束后梯度通常保存在参数的.grad中for name, parameter in model.named_parameters(): print(name, parameter.grad)优化器更新真正修改参数知道每个参数的梯度以后优化器才会执行更新optimizer.step()最简单的更新可以写成新参数 旧参数 - 学习率 × 梯度梯度给出调整方向学习率控制每次调整的幅度。loss.backward()负责算梯度optimizer.step()负责改参数两者不能混为一谈。用最小 PyTorch 代码跑通一次更新下面的例子用两个输入特征预测一个连续数值import torch from torch import nn ​ torch.manual_seed(7) ​ model nn.Sequential( nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 1), ) ​ x torch.tensor([ [1.0, 2.0], [2.0, 1.0], [3.0, 4.0], ]) y torch.tensor([[3.0], [3.0], [7.0]]) ​ loss_fn nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.01) ​ optimizer.zero_grad() # 清空上一次留下的梯度 prediction model(x) # 前向传播作出预测 loss loss_fn(prediction, y) loss.backward() # 反向传播计算梯度 optimizer.step() # 根据梯度更新参数 ​ print(loss:, loss.item())这段代码只完成一次参数更新。真正训练时会对许多 batch 重复同一套顺序。为什么要先清空梯度PyTorch 默认会累加梯度。如果连续调用两次backward()第二次计算的梯度会加到第一次的结果上。普通训练循环通常需要在每次更新前执行optimizer.zero_grad()否则当前 batch 和之前 batch 的梯度会混在一起更新幅度也会偏离预期。梯度累加确实有用途但应该是明确设计的训练策略而不是忘记清空造成的意外。三个高频误区1. 以为backward()会更新参数backward()只计算并保存梯度。没有optimizer.step()模型参数不会改变。2. 把训练顺序写乱常规顺序应该是zero_grad → forward → loss → backward → step先step()再backward()优化器就拿不到这一次预测产生的梯度。3. 在验证和推理时仍然记录梯度验证阶段不需要反向传播通常应写成model.eval() with torch.no_grad(): prediction model(x)这样可以减少不必要的计算与内存占用。技术图把关键链路画清楚可运行实验观察一次完整参数更新前向传播产生预测和 loss反向传播只负责计算梯度优化器才会修改参数。下面打印更新前后的权重。import torch from torch import nn ​ torch.manual_seed(0) model nn.Linear(1, 1) optimizer torch.optim.SGD(model.parameters(), lr0.1) x, y torch.tensor([[2.0]]), torch.tensor([[5.0]]) print(f更新前 weight{model.weight.item():.4f}) optimizer.zero_grad() pred model(x) loss nn.MSELoss()(pred, y) loss.backward() print(floss{loss.item():.4f} grad{model.weight.grad.item():.4f}) optimizer.step() print(f更新后 weight{model.weight.item():.4f})运行结果更新前 weight-0.0075 loss20.0572 grad-17.9141 更新后 weight1.7839backward()后梯度已经存在但权重仍未改变执行optimizer.step()后权重才沿降低损失的方向更新。常见误区loss.backward()会自动更新参数。它只计算并累积梯度。每轮可以省略zero_grad()。默认梯度会累积除非你明确需要梯度累加。动手练习在backward()后、step()前再次打印权重验证它尚未改变。这一课先记住什么一次训练更新可以拆成四个职责清楚的步骤前向传播根据当前参数产生预测损失函数衡量预测与答案的差距反向传播计算每个参数的梯度优化器根据梯度真正修改参数。下一课继续进入 PyTorch 的自动微分与计算图解释loss.backward()为什么能自动找到并计算这些梯度。本文首发于「去你想去的地方」 https://bestsdz.xyz/posts/forward-and-backpropagation/完整学习路线、视频版和后续更新请访问原文。
RELATED

相关推荐

openEuler多样性算力支持:DPU-OS与DPUOffload深度解析

openEuler多样性算力支持:DPU-OS与DPUOffload深度解析

openEuler多样性算力支持:DPU-OS与DPUOffload深度解析 【免费下载链接】docs-centralized To build and enrich documentation for openEuler project. 项目地址: https://gitcode.com/openeuler/docs-centralized 前往项目官网免费下载:https://…

📅 2026/11/16 8:07:54
瑞萨E1/E20/E2仿真器接口设计:14针与38针连接器实战指南

瑞萨E1/E20/E2仿真器接口设计:14针与38针连接器实战指南

1. 项目概述在嵌入式开发领域,瑞萨的E1/E20/E2/E2 Lite系列仿真器是连接开发环境与目标微控制器(MCU)的得力工具。无论是进行在线调试、单步跟踪,还是执行闪存编程,一个稳定可靠的物理连接是这一切工作的基石。然而&am…

📅 2026/11/15 17:51:04
开源项目管理利器GanttProject:5个提升项目效率的核心功能深度解析

开源项目管理利器GanttProject:5个提升项目效率的核心功能深度解析

开源项目管理利器GanttProject:5个提升项目效率的核心功能深度解析 【免费下载链接】ganttproject Official GanttProject repository. 项目地址: https://gitcode.com/gh_mirrors/ga/ganttproject 在当今快节奏的项目管理环境中,寻找一款既功能强…

📅 2026/11/15 4:20:22
MORE NEWS

更多资讯

📰

新时代电工证怎么考?2026河南最新政策全解析

新时代电工证怎么考?2026河南最新政策全解析 你是不是也遇到过这种情况?报名新时代电工证的时候,不知道去哪报,怕被中介坑,结果交了钱连证都拿不到?2026河南最新政策下来后,不少准备报考的电工朋友都在问:…

📰

高级电工证没用了吗?内部消息告诉你实操考试心里没底怕挂科怎么办

高级电工证没用了吗?内部消息告诉你实操考试心里没底怕挂科怎么办 实操考试心里没底怕挂科,这几乎是每个准备报考高级电工证的学员的共同焦虑。尤其是在特种作业行业,证书不仅是上岗的“通行证”,更是安全作业的“保障线”。但最近不少人开始质疑:“高级…

📰

最好电工证怎么考?上岗必备证件怕考不过白交培训费?

最好电工证怎么考?上岗必备证件怕考不过白交培训费? 怕考不过白交培训费?南阳中小施工企业负责人,你是不是也正纠结于【最好电工证】该不该考?别急,今天就给你讲明白这本证书到底是 上岗必备 ,还是可有可无的“花架子”。…

📰

电工证2023考题难不难?怕考不过白交培训费?全国通用证书怎么考

电工证2023考题难不难?怕考不过白交培训费?全国通用证书怎么考 怕考不过白交培训费?电工证2023考题到底有多难?尤其是现在市面上培训费动辄几千块,一不小心就可能竹篮打水一场空。别急,本文会从 全国通用 的电工证考试角度,结合…

📰

电工2年经验需电工证怎么考?实操考试心里没底怕挂科?官方报名入口全解析

电工2年经验需电工证怎么考?实操考试心里没底怕挂科?官方报名入口全解析 你是不是也这样,干了两年电工,觉得自己技术过硬,但就是缺一个官方认证的电工证?实操考试心里没底怕挂科?别慌,今天我就从周口公路工程从业者的角度,带你一步步搞清楚电工2年…

📰

慈利哪里办电工证复审?外省证能转过来吗?上岗必备的真相

慈利哪里办电工证复审?外省证能转过来吗?上岗必备的真相 之前考的证在外省能不能转过来?这是很多在慈利打工或者准备来慈利发展的电工最关心的问题。尤其是对于在外省工作、现在想回到家乡发展的朋友来说,这直接影响到你们是否能顺利上岗。如果你也在为【…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬