尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
机器学习_线性回归基础知识总结(完整版)
1.需要的数学基础1.矩阵基本运算矩阵转置矩阵求逆2.微积分会求微分关于梯度下降法的原理, 推荐吴恩达的机器学习课程(b站有),讲的非常浅显易懂, 生动形象, 弹幕里面的b友们也很有意思, 适合新手小白3.线性回归1.简介1.定义利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式特点: 一个自变量称为单变量回归, 多于一个自变量称为多元回归2.表示方式:h(w)w1x1w2x2....bw(转置)xb3.分类:线性关系非线性关系2.线性回归的损失和优化损失:最小二乘法优化:1.正规方程2.梯度下降法算法选择:小规模数据LinearRegression/正规方程(不能解决拟合问题)岭回归大规模数据SGDRegression/梯度下降法(不一定找到全局极小值点)3.正规方程介绍:当损失函数最小时, 根据损失函数可以推导出正规方程利用矩阵的逆,转置进行求解公式:系数矩阵W(XtX)-1XtYX--特征值矩阵Y--目标值矩阵t--为转置(-1)--求逆API:sklearn.linear_model.LinearRegression()属性:LinearRegression.coef_: 回归系数linearRegression.intercept: 偏置(在一元方程中, 相当于截距)linearRegression.fit_intercept:是否计算偏置缺点:当特征值过多过于复杂时, 求解速度太慢且得不到结果只适合样本的特征比较少的情况4.梯度下降法(gradient descent algorithm)公式:数学符号没法在文本上展示,略(可以直接问AI,解释的挺详细的)梯度:单变量 -- 切线/斜率多变量 -- 向量参数:α--步长, 要适中α太小--下降慢α太大--容易跳过极小值点梯度为什么要加负号:梯度方向是上升最快方向, 负号即下降最快方向常见的梯度下降算法:1.批梯度/全梯度下降法.BGD(Batch Gradient Descent)计算所有样本的均方误差(MSE)缺点:1.因为每次计算的数据量很大, 算法的运行速度很慢, 且无法处理超出内存容量的数据集2.因为每次都计算全部样本数据, 不能在线更新模型, 即运行中不能更改样本数据内容2.随机梯度下降法.SGD(Stochastic Gradient Descent)只选单个样本计算均方误差(MSE)缺点:随机性太大,单个样本无法有效代表整体APIsklearn.linear_model.SGDRegressor()参数:loss--损失类型losssquared_loss:普通最小二乘法fit_intercept:是否计算偏置learning_rate--学习率constant:etaeta0optimal:eta1.0/(alpha*(tt0))[default]invscaling:etaeta0/pow(t,power_t)SGDRegressor.coef_:回归系数SGDRegressor.intercept_:偏置3.随机平均梯度下降法.SAG(stochastic average gradient descent)改善了SGD随机性问题, 收敛速度更快,为每个样本维护一个旧梯度,随机选择第i个样本更新该样本梯度,最后求得所有梯度平均值, 进而更新参数缺点:初期表现不佳4.小批量梯度下降法.MBGD(mini_batch gradient descent)BDG与SGD的综合, 随机抽取一个小样本集计算MSE5. 梯度下降法的算法比较:BGD:每次更新都要使用全体数据, 花费时间最长, 内存占用最大SAG:训练初期表现不佳, 优化速度慢SGD:综合考虑迭代次数和运行时间,SG性能表现都很好,但是需要慎重选择步长, 否则容易错过最优解MBGD:表现在SGD和BGD之间, 避开BGD运算成本大和SGD收敛不稳定推荐:首选SAG, 其次MBGD, BGD与SGD不予考虑4.扩展:梯度下降算法在深度学习中也有应用1.动量法(SAG姐妹版)2.Nesterov 加速梯度下降法3.Adagard4.Adagdelta5.RMSProp6.Adam
RELATED

相关推荐

GESP编程等级认证全解析:从分级体系到真题备考策略

GESP编程等级认证全解析:从分级体系到真题备考策略

简介:CCF编程能力等级认证(GESP)备考资料包,面向参加GESP 1-8级考试的学生、信息学竞赛选手及培训机构教师,解决真题难找、考纲分散、知识点不成体系的问题。内容覆盖Scratch图形化1-4级、Python 1-8级、C 1-8级真题与…

📅 2026/9/29 22:03:46
C# WinForm执行cmd命令的正确姿势:不闪窗、捕获输出、防卡死

C# WinForm执行cmd命令的正确姿势:不闪窗、捕获输出、防卡死

简介:面向VS2010下C# WinForm开发者的CMD命令调用示例工程,适合需要实现进程交互、执行系统命令或批处理操作的初中级程序员。压缩包共二十七个文件,以八个C#源码文件为核心,附带可执行程序、项目配置、资源与调试文件&#xff0c…

📅 2026/11/7 19:46:09
免安装版JDK 1.7.0_64:老项目开发环境的绿色配置指南

免安装版JDK 1.7.0_64:老项目开发环境的绿色配置指南

简介:免安装版 JDK 1.7.0_64 面向需要快速搭建 Java 开发或运行环境的用户,无需传统安装流程,解压即可使用,特别适合无管理员权限、临时部署或离线开发场景。JDK 1.7 是 Java 平台的重要版本,带来 try-with-resources …

📅 2026/10/20 9:00:26
MORE NEWS

更多资讯

📰

电工证征兵算技能吗?证书过期了不知道怎么复审延期保姆级教程

电工证征兵算技能吗?证书过期了不知道怎么复审延期保姆级教程 证书过期了不知道怎么复审延期?这事儿真的不能拖,不然不仅影响工作,还可能面临法律责任。别急,本文从开封中小施工企业负责人的角度出发,给你一份 保姆级教程…

📰

工地太忙根本没时间复习考试?劳动局的电工证多少钱你知道吗?

工地太忙根本没时间复习考试?劳动局的电工证多少钱你知道吗? 工地太忙根本没时间复习考试,这几乎是所有一线施工人员的共同痛点,尤其是那些需要持证上岗的岗位,比如电工。如果你是南阳卧龙区的水利工程从业者,那你一定知道, 上岗必备…

📰

高压电工证作业怎么考?郑州报考避坑指南全在这儿了

高压电工证作业怎么考?郑州报考避坑指南全在这儿了 你是不是也这样想: 学历不高怕报不上名 ?高压电工证作业确实门槛不低,但真就只能因为学历问题放弃吗?其实不然, 郑州报考避坑指南…

📰

你学历不高怕报不上名?济南电工证报名培训怎么选

你学历不高怕报不上名?济南电工证报名培训怎么选 你学历不高,怕报不上名?其实济南电工证报名培训对学历要求没有你想象中那么高,关键看怎么操作。网上查询显示,多数培训机构接受初中及以上学历报名,只要你愿意学,电工证照样能拿到手。今天就带你详细拆…

📰

工地太忙根本没时间复习考试?丽江电工证考试时间+郑州报考避坑指南全攻略

工地太忙根本没时间复习考试?丽江电工证考试时间+郑州报考避坑指南全攻略 工地太忙根本没时间复习考试?我懂你,每天扛着水泥、搭架子、拉电线,哪还有心思去背电工证考试题?但别急,今天我给你讲明白【丽江电工证考试时间】到底怎么安排,还有郑州报考避…

📰

电工证什么时候发放?学历不高怕报不上名?保姆级教程帮你拿证

电工证什么时候发放?学历不高怕报不上名?保姆级教程帮你拿证 你是不是也担心学历不够,考不了电工证?别急,今天我就从一个在漯河搞施工的老朋友的角度,把电工证什么时候发放、怎么考、怎么用,全都给你讲明白。咱们不绕弯子,直接上干货,确保你花最少的…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬