笔记七：大模型微调与高效训练——从 SFT 到 MoE 的完整指南-北京尧图网络

目录第一部分：监督微调（SFT）与损失计算1.1 SFT 是什么？1.2 SFT 的损失是怎么计算的？（重点）1.3 预训练（CLM）和微调（SFT）的损失计算有什么区别？1.4 SFT 训练的最佳实践第二部分：LoRA 与参数高效微调2.1 为什么需要 LoRA？2.2 LoRA 的核心思想2.3 LoRA 的两个模块加在哪里？2.4 为什么只改 1% 的参数，影响却不小？2.5 为什么推理时要"吸收（合并）"LoRA？2.6 LoRA 的秩（Rank）怎么选？2.7 LoRA 的变种们2.8 QLoRA 和 DoRA 的区别2.9 QLoRA 的显存账单第三部分：混合专家模型（MoE）3.1 为什么需要 MoE？3.2 MoE 的架构拆解3.3 速度悖论3.4 负载均衡3.5 训练的核心谜团：TopK 不可导，路由器怎么学？3.6 著名的 MoE 模型3.7 总结：MoE 的优缺点摘要：本文系统梳理了大模型训练中的三大核心主题：监督微调（SFT）的损失计算原理与最佳实践、参数高效微调方法 LoRA 及其变种的核心思想与选型指南，以及混合专家模型（MoE）的架构设计、训练谜团与工业界方案。文章以通俗易懂的比喻和手算示例，帮助读者从原理到实战全面理解这些关键技术。第一部分：监督微调（SFT）与损失计算1.1 SFT 是什么？SFT（Supervised Fine-Tuning，监督微调），就是把一个已经会“文字接龙”的预训练大模型，调教成一个能听懂人话、按指令办事的智能助手。预训练模型：像个看过海量书籍的“书呆子”，只会根据上文猜下文（比如看到“今天天气真”，会接“好”）。SFT 之后：变成了能回答问题的“助理”。你问它“今天天气怎么样？”，它能回答“今天天气晴朗，适合出游”。这个过程需要给它看大量的“问题-标准答案”对，让它学习如何给出高质量的回答。1.2 SFT 的损失是怎么计算的？（重点）这是很多人的困惑：模型是一字一字地预测，那损失也是一字一字算的吗？答案是：是的，数学上是“一字一字”算的，但显卡是“一眼”全看完一起算的（矩阵并行计算）。它的核心机制叫做“教师强制（Teacher Forcing）”。1.2.1 什么是“教师强制”？在训练时，我们把“问题”和“答案”拼成一条完整的序列送进模型。模型会并行地预测每一个位置的下一个字。但关键点在于：模型预测时看到的“上文”，永远是正确的原文，而不是自己猜错的结果。举个具体例子，我们要训练模型回答“我爱你”：训练数据：输入是 [我, 爱, 你]。模型内部计算：看到 [我]，预测下一个字是爱。看到 [我, 爱]，预测下一个字是你。注意：在预测你的时候，模型看到的输入是 [我, 爱]，其中“爱”是数据里给的正确答案，而不是模型自己在第一步预测出来的结果（哪怕它第一步预测错了，算第二步时依然用正确的“爱”）。打个比方：这就像老师给你做完形填空，句子是“我（）你”。训练时（Teacher Forcing）：老师直接把正确答案“爱”写在括号里，让你看着“我爱”去填后面的“你”。就算你第一空填了“恨”，老师也会用板擦把“恨”擦掉，强行把“爱”写回去，再让你填第二空。推理时（生成答案）：没有老师管你了，你第一空填了“恨”，第二空就只能基于“我恨”去填，所以会生成“我恨你”。1.2.2 那损失到底怎么算？我们用上一步的例子来手算一遍。第一步：看位置 1（预测“爱”）模型根据输入的[我]，预测下一个词。模型输出的原始分数（Logits）经过 Softmax 变成概率：概率(我)=0.4，概率(爱)=0.5，概率(你)=0.05，概率(EOS)=0.05计算这个位置的损失（负对数似然）：Loss₁ = -log(概率_爱) = -log(0.5) ≈ 0.693第二步：看位置 2（预测“你”）模型根据输入[我, 爱]，预测下一个词。输出的概率：概率(我)=0.1，概率(爱)=0.2，概率(你)=0.6，概率(EOS)=0.1计算这个位置的损失：Loss₂ = -log(概率_你) = -log(0.6) ≈ 0.511第三步：算出最终的 Loss因为答案长度是 2，所以总损失 = (Loss₁ + Loss₂) / 2 = (0.693 + 0.511) / 2 = 0.602这个 0.602，就是最终传回给模型、用来更新参数的那一个数字（标量）。1.2.3 提示词（Prompt）有损失吗？绝对没有！在 SFT 中，我们只计算“答案部分”的损失，提示词部分的标签会被设为 -100。PyTorch 的 CrossEntropyLoss 函数看到 -100 就会自动跳过，不计算损失，也不传回梯度。打个比方：这就像老师改卷子，只改学生在答题卡上写的答案（Response），至于试卷上的题目（Prompt）本身写了什么，看都不看，更不会扣分，因为题目是本来就印在上面的！1.3 预训练（CLM）和微调（SFT）的损失计算有什么区别？对比维度预训练 (CLM)微调 (SFT)数据长什么样连续的一段话：[A, B, C, D]拼凑的两段话：[问题, 答案]标签（Label）设置[B, C, D, EOS]（全是正常ID，没有-100）[-100, -100, 答案, 答案]（问题部分挖掉，答案部分保留）哪些位置算损失每个位置（除了开头的第一个字）只有“答案”部分的位置学习目标学会预测任何一个下文单词（学语法、常识）只学会预测针对特定问题的回答（学指令跟随）一句话总结：CLM 算所有位置，是因为全是正文；SFT 只算答案，是因为人为把前半段标记成了只读的“上下文”。1.4 SFT 训练的最佳实践1.4.1 数据质量：LIMA 原则重质不重量：论文证明，1000 条极其精良的问答数据，训练效果能超过 5 万多条的粗糙数据。好数据必须满足：多样性：涵盖问答、摘要、代码、数学、创意写作、多轮对话等。正确性：每个回答必须事实准确、格式规范。长度平衡

笔记七：大模型微调与高效训练——从 SFT 到 MoE 的完整指南

相关推荐

电力系统中性点接地方式与继电保护技术解析

Claude安装教程+接入Deepseek

安卓应用更新太麻烦？这款工具绕过商店，GitHub/GitLab直接追踪，开源党狂喜！

更多资讯

Python古诗词接龙：检索、打分与N-gram兜底实践

SecureCRT便携配置、中文编码与会话批量生成指南

OpenSSL 1.1.1 编译集成与TLS握手排错实战

YOLOv5单目测距落地指南：标定、地平面法与工程避坑

YOLOv5单目测距：USB摄像头像素框转三维坐标实战

利用python中matplotlib.pyplot库绘制图

今日更新

GUI自动化测试中的ScreenLayout：从硬编码坐标到声明式画面地图

LLC谐振变换器12V25A 300W开关电源设计与调试全攻略

ESP32多应用Flash数据隔离：分区表与NVS namespace实战

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？