第 36 章 · 综合项目一：最小二乘拟合-北京尧图网络

把全书知识串起来的第一个实战项目用 Eigen 做最小二乘直线拟合。这是数据科学、机器学习的入门基础也是 Eigen 的典型应用。36.1 问题拟合一条直线假设你有一批实验数据点 (x, y)(0, 1.1), (1, 3.0), (2, 5.2), (3, 6.9), (4, 9.1), (5, 11.0)它们大致落在一条直线上但有点噪声。你想找一条直线y ax b最好地拟合这些点。最小二乘的思想找 a、b使得所有点到直线的误差平方和最小。36.2 数学原理正规方程把问题写成矩阵形式。对每个点 (xᵢ, yᵢ)有a·xᵢ b yᵢn 个点就是 n 个方程写成矩阵[ x₁ 1 ] [ y₁ ] [ x₂ 1 ] [ a ] [ y₂ ] [ ... ] [ b ] [ ...] [ xₙ 1 ] [ yₙ ]即A·c y其中A 是 n×2 矩阵第一列是 x第二列全 1c [a; b] 是待求参数y 是观测值这是方程比未知数多的超定方程一般没有精确解但有最小二乘解c (AᵀA)⁻¹ Aᵀ y ← 正规方程或者直接用 QR 分解求解更稳定。36.3 用 Eigen 实现#includeEigen/Dense#includeiostream#includevectorintmain(){// 原始数据std::vectordoublexs{0,1,2,3,4,5};std::vectordoubleys{1.1,3.0,5.2,6.9,9.1,11.0};intnxs.size();Eigen::MatrixXdA(n,2);// 设计矩阵Eigen::VectorXdy(n);for(inti0;in;i){A(i,0)xs[i];// 第一列是 xA(i,1)1.0;// 第二列是 1对应截距 by(i)ys[i];// 观测值}// 最小二乘求解QR 分解稳健通用Eigen::VectorXd cA.colPivHouseholderQr().solve(y);doubleac(0);// 斜率doublebc(1);// 截距std::cout拟合直线y a * x bstd::endl;return0;}运行结果接近y 1.98571 * x 1.08571真实关系是 y 2x 1 加噪声拟合非常准。编译运行把上面代码存成ch36.cpp然后路径写法见附录 C.3g-stdc17-O2-I你的Eigen目录ch36.cpp-och36.exe ./ch36.exe实际输出拟合直线y 1.98571 * x 1.0857136.4 评估拟合质量用残差真实值与预测值的差评估。在ch36.cpp的std::cout 拟合直线...后面加两行doubleerror(A*c-y).norm();// 残差范数std::cout残差 errorstd::endl;重新编译运行输出变成拟合直线y 1.98571 * x 1.08571 残差 0.226779残差越小拟合越好。这里 6 个点的总偏差约 0.23相对 y 本身 1~11 的量级来说很小说明直线确实贴住了这批数据。36.5 拓展多项式拟合直线拟合是线性拟合。想拟合曲线如二次 y ax² bx c只需扩展设计矩阵——加一列 x²。下面是独立的一份完整程序存成ch36_poly.cpp注意变量名和 36.3 的c无关#includeEigen/Dense#includeiostream#includevectorintmain(){std::vectordoublexs{0,1,2,3,4,5};std::vectordoubleys{1.1,3.0,5.2,6.9,9.1,11.0};Eigen::Index nxs.size();Eigen::MatrixXdA(n,3);// 三列x²、x、1Eigen::VectorXdy(n);for(Eigen::Index i0;in;i){A(i,0)xs[i]*xs[i];// x²A(i,1)xs[i];// xA(i,2)1.0;// 常数项y(i)ys[i];}Eigen::Vector3d cA.colPivHouseholderQr().solve(y);// c [a, b, c]std::cout二次拟合y c(0) * x^2 c(1) * x c(2)std::endl;std::cout残差 (A*c-y).norm()std::endl;return0;}实际输出二次拟合y 0 * x^2 1.98571 * x 1.08571 残差 0.226779这个结果很有意思二次项系数是0残差和直线拟合一模一样0.226779。原因是这批数据本来就是直线你给它更高次的模型它也只会把多余的那项压成 0。把ys改成{0, 1, 4, 9, 16, 25}正好是 y x²再跑一次实测输出二次拟合y 1 * x^2 -5.21706e-15 * x 7.14981e-15 残差 1.39037e-14二次项变成 1一次项和常数项是 1e-15 量级也就是 0残差 1e-14也就是 0——模型正确识别出了真实关系。思路完全一样把特征塞进设计矩阵的列就能拟合任意线性模型。这正是机器学习的核心思路——特征最小二乘。36.6 为什么这是机器学习基础最小二乘拟合机器学习里线性回归的 C 实现设计矩阵 A 特征矩阵 X待求参数 c 模型权重 w观测值 y 标签学会这个你就理解了线性回归、岭回归、甚至神经网络最后一层的数学本质。36.7 小结最小二乘让误差平方和最小的拟合。写成矩阵 Ax y用 QR 分解求解。残差范数评估拟合质量。扩展设计矩阵就能做多项式拟合线性回归。下一章第二个实战项目3D 点云与刚体变换。练习题用上面的代码拟合给定数据打印斜率和截距。自己造一批数据y 3x 2 加随机噪声拟合看能不能还原。把拟合从直线改成二次曲线扩展设计矩阵。计算并打印拟合的残差。说说最小二乘和机器学习线性回归的关系。

第 36 章 · 综合项目一：最小二乘拟合

相关推荐

基于YOLOv8的景区古树名木保护监测系统：从数据集到部署的完整实战

第 35 章 · Eigen 进阶技巧

neo4j电影知识图谱问答系统：建模、CSV导入与Cypher优化实践

更多资讯

MySQL农历数据库表结构设计与批量导入实践

WPTools v6.29.1：WordPress静态安全扫描CLI工具详解

伴随灵敏度分析驱动肿瘤时空放疗优化：Matlab实现全解析

双目视觉工程实战：从标定到深度图生成与点云重建的全流程解析

数据库系统工程师能力图谱：从2020真题解构底层核心能力

基于PCA9422与MK51的嵌入式系统电源管理方案设计

今日更新

PHP htmlentities()函数用法讲解

AI Agent工程实战：从七要素到七个决策点的系统设计指南

AI入局芯片设计验证：验证收敛50倍加速的真相与应对

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？