SGD梯度更新实战解析-北京尧图网络

根据黑板上的第二问要求我们需要使用SGD随机梯度下降来求解。1. 题目条件提取从图片中可以看到具体的设定初始参数$w_0 0$, $b_0 0$学习率$\alpha 0.1$ 图中写作 $\eta0.1$ 或 $\alpha0.1$目标计算第一次更新后的 $w$ 和 $b$。数据$x(1, 2, 3)$, $y(2, 4, 6)$样本数 $m3$。损失函数$J(w,b) \frac{1}{2m} \sum (y_i - \hat{y}_i)^2$2. 梯度公式推导基于给定的损失函数对 $w$ 和 $b$ 求偏导得到梯度注意系数 $\frac{1}{2m}$ 求导后变为 $\frac{1}{m}$且链式法则产生负号预测值$\hat{y}_i w x_i b$误差项$(\hat{y}_i - y_i)$梯度计算公式$$\frac{\partial J}{\partial w} \frac{1}{m} \sum_{i1}^{m} (\hat{y}_i - y_i) x_i$$$$\frac{\partial J}{\partial b} \frac{1}{m} \sum_{i1}^{m} (\hat{y}_i - y_i)$$(注黑板右侧的板书也印证了这一点虽然字迹较潦草但结构符合 $\frac{1}{m}\sum(\dots)$ 的形式)3. 具体计算步骤第一步计算初始状态下的预测值与误差由于初始 $w_00, b_00$对于所有样本 $i$预测值 $\hat{y}_i 0 \cdot x_i 0 0$真实值 $y (2, 4, 6)$误差 $(\hat{y}_i - y_i) (0-2, 0-4, 0-6) (-2, -4, -6)$第二步计算梯度计算 $w$ 的梯度 $\frac{\partial J}{\partial w}$$$\begin{aligned}\frac{\partial J}{\partial w} \frac{1}{3} [ (-2)\times 1 (-4)\times 2 (-6)\times 3 ] \ \frac{1}{3} [ -2 - 8 - 18 ] \ \frac{-28}{3} \approx -9.33\end{aligned}$$计算 $b$ 的梯度 $\frac{\partial J}{\partial b}$$$\begin{aligned}\frac{\partial J}{\partial b} \frac{1}{3} [ (-2) (-4) (-6) ] \ \frac{-12}{3} \ -4\end{aligned}$$第三步执行参数更新更新公式为$\theta_{new} \theta_{old} - \alpha \cdot \text{gradient}$更新 $w$$$\begin{aligned}w_1 w_0 - 0.1 \times \left( -\frac{28}{3} \right) \ 0 \frac{2.8}{3} \ \frac{28}{30} \frac{14}{15} \approx \mathbf{0.933}\end{aligned}$$更新 $b$$$\begin{aligned}b_1 b_0 - 0.1 \times (-4) \ 0 0.4 \ \mathbf{0.4}\end{aligned}$$4. 最终结论经过 SGD第一次迭代更新后参数结果为$w \approx 0.933$(精确值为 $14/15$)$b 0.4$此时的回归方程约为$y 0.933x 0.4$

SGD梯度更新实战解析

相关推荐

为什么现在大多 Code Agent 的主形态是 CLI/TUI？TaoToken 统一 Key 接入实测

基于S7-200与组态王的装卸料小车PLC自动控制系统设计

当Agent学会“自我进化”，你的算法底座还稳吗？TaoToken视角下的递归增强与算法优化

更多资讯

Caveman 爆火启示：让 AI 智能体省 65% Token 的‘穴居人‘哲学——TaoToken 配置实战

【Harness Agent】源码剖析（三）：沙箱安全与工具生态——从白名单到 MCP 的配置骨架与验证

替加环素广谱抗生素解析：从甘氨酰环素机制到 TaoToken 配置实践

UE32绿色版配置TaoToken：用*.reg文件手动增删注册表项

AI工程的进化密码：Harness Engineering让模型调用不再是终点，Agent系统才是新起点！

STM32按键GPIO输入原理：从机械弹跳到稳定电平的全链路解析

今日更新

MATLAB+Yalmip+CPLEX实战：综合能源系统优化调度全流程解析

I3C比I2C快10倍？RK3576实战：速率、DTS配置与混合总线避坑指南

字符串转对象：JSON.parse、new Function与URLSearchParams

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？