损失函数全解析：从交叉熵到Focal Loss的选型与实践指南-北京尧图网络

如果你训练过哪怕三五个深度学习模型大概率遇到过这样的深夜loss 曲线平平淡淡像条直线模型怎么都不肯学或者 loss 降得飞快可验证集上的指标纹丝不动再或者训练到一半 loss 直接变成 NaN终端里刷出一片红色警告。我印象最深的一次是模型整整训了一个周末结果跑出来的效果还不如随机初始化最后翻代码才发现是损失函数里一个负号写反了。深度学习里最不起眼、却牵一发动全身的组件就是损失函数它决定了模型是朝正确的方向生长还是在错误的目标上拼命优化。这篇文章我打算把损失函数这件事从头到尾说透它到底在解决什么问题数学上为什么长这样分类、回归、检索、多任务这些真实场景里分别该怎么选以及手写损失函数时最容易踩的那些坑。适合刚入门想系统理解 loss 原理的同学也适合已经在训练模型、但被各种异常 loss 折腾过的工程师。每个部分我都会给出可以直接照抄的实践结论和经验教训。1. 损失函数到底在解决什么问题1.1 模型是被“损失信号”牵着走的先说一个最本质的问题一个神经网络凭什么能从一团随机参数慢慢变成一个能做分类、能预测的模型表面上看是梯度下降带动参数更新但参数更新方向完全由损失函数给出的“信号”决定。可以这么理解训练过程像闭着眼睛在山谷里下山你不会知道整座山长什么样只能靠脚底感觉哪个方向是下坡。损失函数就是那个“感觉系统”——它告诉模型当前这个位置和真正的目标之间差多远。如果损失函数定义得对每一步都在逼近谷底如果损失函数定义错了那训练就是在朝着错误的方向使劲走甚至走向一个完全错误的“山谷”。从训练系统的角度看模型、数据、优化器都是可以替换的零件损失函数是贯穿始终的评价标准。数据告诉模型“世界是什么样的”优化器决定“怎么改参数”而损失函数回答“改得好不好”。一个任务能不能学成60% 的功劳要算在损失函数选得对不对上。1.2 经验风险最小化训练的本质是一个“抄答案”的过程机器学习里有一个非常基础的思想叫“经验风险最小化”。你手里有一堆训练样本 (x, y)要找一个函数 f 让 f(x) 尽量贴近 y。怎么定义“尽量”就定义成平均损失最小也就是min (1/N) * Σ L(f(xᵢ), yᵢ)这里的 L 就是损失函数。正则项、权重衰减这些先不算整个深度学习训练过程本质上就是在优化这个平均损失。注意一个很关键的点我们最终关心的其实是模型在没见过的数据上表现好不好也就是泛化能力。但我们没有能力直接优化“未知数据上的误差”只能拿训练集上的平均损失当作替代品。这一步替代合理的前提是损失函数选出来的模型在训练集上的表现能代表它在真实世界里的表现。这也是为什么 loss 和最终业务指标常常不一致、需要额外小心对齐的根本原因。1.3 两个推导损失函数的经典视角经验与概率不同损失函数不是拍脑袋发明出来的它们背后基本都能追溯到两个经典视角。第一个视角是几何视角损失函数就是在度量预测值和真实值之间的“距离”。MSE 是欧氏距离的平方MAE 是曼哈顿距离交叉熵则可以理解成两个概率分布之间的“信息距离”。从这个角度选损失函数本质是在选一种“距离度量方式”。第二个视角是概率视角训练模型其实是在估计一个条件概率分布 p(y|x)。假设你已经知道这个分布的具体函数形式那么最好的训练方式就是极大似然估计——也就是最大化模型给真实标签分配的概率。举个例子回归任务里如果你假设误差服从高斯分布对似然函数取负对数之后留下来的核心项就是 MSE。分类任务里如果你假设输出服从类别分布也就是 softmax 后面的离散分布对似然取负对数之后得到的正是交叉熵。这说明 MSE 和交叉熵并不是因为“表现好才被选”而是因为它们各自是某个概率假设下的必然结果。后面所有花式 loss 的改造很多也都是从“放宽概率假设”或者“调整样本权重”这两个方向下手的。2. 分类任务交叉熵之外的另一个江湖2.1 交叉熵为何称王分类任务里交叉熵几乎是默认选项。PyTorch 里的CrossEntropyLoss、TensorFlow 里的CategoricalCrossentropy做图像分类、文本分类、语音识别大家都在用。它定义为L -Σ yᵢ * log(pᵢ)其中 pᵢ 是模型预测每个类别的概率yᵢ 是真实标签的 one-hot 向量或者平滑后的软标签。关于交叉熵我建议你把它当成“负对数似然”来看而不是套信息论的“KL 散度”绕来绕去。模型给真实类别打的概率越大loss 越小打的概率越小loss 越大。这样理解最直接也最容易和调参经验对上。有一个问题值得多说几句为什么不用 MSE 做分类刚入门的时候很多人会想回归能用 MSE分类把输出编码成 0/1 不也能用吗实验做出来你会发现训练又慢又不稳定。原因有两层。第一MSE 对 sigmoid 或 softmax 输出的梯度会被“压扁”在预测结果偏离目标很近或很远的时候梯度都小得可怜而交叉熵的梯度恰好和预测误差成正比误差越大推得越狠。第二MSE 的优化曲面不够友好更容易落入局部坑。所以哪怕做的是二分类也请老老实实用BCEWithLogitsLoss不要自己拼接Sigmoid MSE。2.2 类别不平衡Focal Loss 是怎么“聚焦”的真实业务场景里类别不平衡才是常态。你在训练一个缺陷检测模型正品和瑕疵品的比例可能是 100:1训练一个推荐点击率模型正负样本比例要到 1:20 甚至更低。这时普通交叉熵会被大头样本带走模型一边倒地把所有东西都预测成多数类报表上准确率还挺高但其实完全没用。业界最常用的手段是给交叉熵加权重也就是加权交叉熵L -α * y * log(p) - (1 - y) * log(1-p)如果负样本有 20 倍多就把正样本的 α 调到 20 附近强行拉高模型对少数类的关注。这个做法的缺点是超参数 α 不好调而且容易过度放大易分类的少数类样本让模型在简单样本上反复较劲。Focal Loss 的思路比“简单加权”更精细一些。它在交叉熵前面乘了一个调制因子L -α * (1 - pₜ)^γ * log(pₜ)这里的 pₜ 是模型对该样本的真实类别预测概率。如果模型已经很有把握地分对了pₜ 接近 1那么 (1-pₜ)^γ 接近 0这个样本对 loss 的贡献就被压低如果是难样本pₜ 还在 0.3 附近挣扎那么调制因子基本不起作用loss 保持原样。γ 通常取 2。这个设计巧妙的地方在于它不是像加权 CE 那样“一刀切”地提升所有少数类样本而是自动聚焦在“还没学会”的难样本上让训练信号更精准。实践里面有个经验一阶段检测模型比如我曾参与过的某目标检测项目几乎都用 Focal Loss 做分类分支因为检测框里绝大多数区域是背景前景目标只占一小部分。我第一次在类似场景下从 CE 切到 Focal Loss 时同样的训练轮数小目标检测的召回率直接上了一个台阶而且训练初期 loss 的波动明显更温和了。2.3 分割场景Dice Loss 与它的集合思维图像分割任务里CrossEntropyLoss和Dice Loss是最常见的两个阵营。交叉熵逐像素计算每个像素地位平等而分割图像里前景区域往往占比很小交叉熵会被背景像素完全统治导致小目标区域根本分不出来。Dice Loss 来自医学影像分割的实践它的思想非常直观把预测结果和真实标注都看成集合然后衡量两个集合的重叠程度。定义是Dice 2 * |P ∩ G| / (|P| |G|)对应损失就是 1 - Dice。如果预测和标注完全重合Dice 等于 1损失等于 0如果完全没有交集损失等于 1。Dice Loss 有一个非常实际的好处它天然就是类别不平衡友好的因为它只看前景和真实标注的重叠比例不关心背景有多少像素。但两个坑需要提醒一下。第一Dice Loss 的梯度比较陡训练容易不稳建议和交叉熵一起加权使用比如 0.5 的 CE 加 0.5 的 Dice。第二它本质上是区域级别的度量忽略边界细节只用一个 Dice Loss 训练出来的分割结果边界往往偏圆润。我通常的做法是先用 CE 做 warm-up再用 CE Dice 的混合损失精调分割边缘的质量会好很多。3. 回归任务选错损失函数的代价比你想的更大3.1 MSE 与 MAE一个讨好离群点一个无视离群点回归任务的默认选项是 MSEL (y - f(x))²它最大的优点是数学性质好、处处可导、梯度平滑而且和“预测均值的最大似然估计”对应。但它有一个著名缺陷对离群点极其敏感。因为误差被平方了一个残差为 10 的样本对 loss 的贡献是 100如果这个样本本身是错误标注模型就会被它拖着走。MAE 则完全不同。它的梯度是常数要么正一要么负一每个样本对梯度的贡献是固定的所以鲁棒性很强不会被个别异常值带偏。代价是什么呢MAE 在误差为零的点不可导训练后期容易出现抖动收敛精度不如 MSE 细腻。用统计学的话说MSE 拟合的是条件均值MAE 拟合的是条件中位数。均值会被极端值拉走中位数不会这就是两者行为差异的根本原因。实际举一个我碰过的例子训练一个传感器校准模型正常情况下误差都在 0.5 个量级内但数据采集过程中偶尔混入几个量级完全不对的脏样本。用 MSE 训练loss 一直在 3 到 6 之间来回跳怎么都下不去换 MAE 之后整体误差反而收敛到了一个更稳定的范围。因为 MAE 相当于自动把这些脏样本当成了“噪声”不给他们过高的话语权。3.2 Huber Loss折中方案为什么更稳如果你希望避开 MSE 对离群点敏感、又嫌弃 MAE 收敛后期不够精细的问题Huber Loss 就是教科书答案。它的定义是分段函数L 0.5 * (y - f(x))²当 |y - f(x)| ≤ δL δ * (|y - f(x)| - 0.5 * δ)当 |y - f(x)| δ翻译成大白话残差小于 δ 的时候用 MSE 的精细平滑残差大于 δ 的时候用 MAE 的线性惩罚线性增长避免离群点被平方放大。δ 这个阈值就是你判断“多大的偏差算异常”的分界线实际情况里取 1 左右基本够用。我选择回归损失的一个个人习惯是如果数据是机器学习平台产出的干净数据直接用 MSE简单收敛快如果有异常值或者标注质量参差第一时间切成 Huber。这个损失函数在梯度下降工程里几乎没有缺点唯一的代价是 δ 需要多调一个参数但在多数场景里 δ1 已经能获得绝大部分收益。3.3 回归损失选型的三个硬核检查点很多朋友在回归任务上折腾半天效果不好其实问题不是模型结构而是损失函数和数据分布不匹配。这里分享三个检查点。第一个检查点看残差分布。训练完一个模型后把测试集上所有样本的残差画成直方图。如果分布是瘦高型的高斯形状MSE 没问题如果尾巴特别长、有明显的离群点说明数据里有你不想被放大的异常信息这时就该考虑 Huber 或者 MAE。第二个检查点看业务关心的到底是均值还是中位数。如果你是要做库存预测、销量预测误差不管正负都不可接受MAE 和 Huber 更合适如果要拟合一个平滑的物理曲线MSE 的细腻梯度更能还原曲线细节。第三个检查点看训练曲线是否出现“loss 悬崖”。MSE 训练时如果 loss 突然跳一下又回来多半是有极端样本路过切换 Huber 之后这种情况会明显减少。这三个检查点都不需要额外安装什么工具画个图、观察一下曲线就能完成但能帮你省下大量盲目调参的时间。4. 损失函数早已不是“标准模板”现代扩展4.1 从点估计到分布预测NLL Loss 的不确定性玩法传统回归只输出一个数值这叫点估计。现代深度学习里越来越多场景要求模型不仅给出预测值还要给出“对这个预测有多大把握”。自动驾驶要能感知到“前方障碍物的距离误差是 ±1 米还是 ±10 米”医疗诊断要能标出“这个预测的置信区间有多宽”。这种需求对应的损失函数是高斯负对数似然简称 Gaussian NLL Loss。做法是让模型同时输出两个头一个预测均值 μ一个预测方差 σ²。损失函数长这样L log(σ²) (y - μ)² / (2 * σ²) / 2注意这里细节第一项 log(σ²) 是正则项防止模型把方差学得无穷大第二项是拟合项残差除以方差之后方差大的样本自动被压低权重。这个损失函数最妙的地方是模型可以自己调节不同样本的“话语权”——如果某个样本确实难预测模型会把方差调大来降低它对 loss 的贡献。我在一个回归项目里同时输出均值和方差后不仅获得了置信区间模型在极端值附近的拟合质量也变好了因为难样本的干扰被“自动降噪”了。4.2 检索与表征InfoNCE、Triplet Loss 如何塑造特征空间很多任务的目标不是预测标签而是判断“两个样本是否相关”。人脸识别要找同一个人的照片文本检索要匹配语义相近的段落推荐系统要学习用户和物品的向量。这类任务的核心是把相似样本映射到特征空间中相近的位置把不相似样本推远。Triplet Loss 是老牌主力它由三部分组成锚点样本 a正样本 p负样本 n。目标是让 a 和 p 的距离比 a 和 n 的距离至少近一个 marginL max(0, d(a, p) - d(a, n) margin)这个 loss 最依赖的是样本挖掘。如果负样本选得太容易损失恒为 0模型什么都学不到如果选得太难训练又很容易崩。实际工程里常用 semi-hard negative mining这个技巧比换损失函数结构更影响效果。InfoNCE 是当前对比学习的核心损失函数。它的思路是把当前样本和正样本看成一对“分类任务”在 batch 里把其他负样本当作“候选类别”用交叉熵的方式判断哪个是正样本。形式是L -log[ exp(sim(q, k₊)/τ) / Σⱼ exp(sim(q, kⱼ)/τ) ]这里的 τ 是温度系数它控制 logits 分布的平滑程度。τ 越小分布越尖模型越会死磕最难区分的负样本τ 越大分布越平模型对所有样本一视同仁。实操里 τ 是一个特别敏感的超参数0.07 到 0.2 之间需要仔细试。这类损失函数本质上是在用“对比”的方式塑造特征空间的几何结构损失函数的选择直接决定了你希望 embedding 空间长得什么样。4.3 多任务学习的权重困境手动配平之外的路多任务学习里最常见也最令人头疼的问题是多个损失的权重怎么配。一个模型同时做分类和回归或者同时区分 10 个属性简单粗暴的做法是直接相加L w₁ * L₁ w₂ * L₂但你会发现训练非常不稳定。因为不同任务的 loss 数值量级不同分类 loss 可能几十回归 loss 只有零点几直接相加等于只优化大头。手动调 w₁ 和 w₂ 是个无底洞调两个任务还好任务一多就彻底失控。业界有两种更科学的思路。一种叫不确定性加权基本逻辑是每个任务都配一个可学习的权重参数损失大的任务自动获得更低的权重损失小的任务获得更高权重。另一种叫 GradNorm思路是让不同任务对共享骨干网络的梯度范数保持在一个量级上。我自己的实践体会是除非任务数量真的很多否则先用简单的动态权重比如根据每个任务当前 loss 的倒数值归一化权重就能解决 80% 的量纲问题复杂的动态调节技术留给多任务联合训练的大项目用。5. 损失函数的工程实践从论文到线上的一公里5.1 手写损失函数的三个经典翻车现场很多新同学喜欢自己重写损失函数觉得“不就几行公式嘛写起来很容易”。但实际上手写损失函数是 bug 重灾区。这里整理了三个我见过的最高频翻车现场。第一个翻车现场维度对不上。Pytorch 里 logits 的形状经常是 (batch, num_classes)而标签的形状可能是 (batch,)也可能已经变成了 (batch, 1)。很多自定义损失函数在unsqueeze和squeeze之间来回横跳最后跑起来不报错但语义已经错了模型训练出来一团浆糊。建议在损失函数第一行就断言维度宁可多写几个 assert也不要让 bug 潜伏三个小时再爆发。第二个翻车现场mask 忘了乘或者乘错位置。序列任务、检测任务、分割任务里都有大量需要忽略的位置padding token 不算损失、无对象区域不算分类损失。如果你在 mask 上做1 - mask而不是mask或者把 mask 乘到了 logits 上面而不是 loss 矩阵上面损失函数的行为会变得完全不可解释。这种问题最难排查因为 loss 依然会下降只是指标永远上不去。第三个翻车现场正负号搞反。看起来像个笑话但真的会发生在每个人身上。最稳妥的检查方法是写一个单元测试用随机生成的 logits 和 labels同时计算你的自定义损失和 PyTorch 自带的等效损失看误差是否在 1e-5 以内。如果两个实现都对不上直接停下手头的工作先修代码不要继续往下训练。5.2 数值稳定性log(0)、除零与 LogSumExp损失函数实现里最容易出现数值错误的地方有两个log(0) 和除零。如果你手动实现交叉熵直接对 softmax 输出的概率取 log当某个类别的预测概率接近 0 时log(p) 会趋近负无穷再除以 batch size 就变成 NaN。标准做法是用一个极小值做截断比如torch.clamp(p, min1e-7)但这始终是打补丁的思路。更正规的写法是 LogSumExp 技巧也就是把 softmax 的计算整个放进 log 里面log(Σ exp(zᵢ)) max(z) log(Σ exp(zᵢ - max(z)))用 logits 的最大值先做一个平移指数运算就不会溢出了。这也是为什么 PyTorch 的CrossEntropyLoss接受 logits 而不是概率作为输入——它内部已经把 log-softmax 和 NLL 融合在一起比你自己softmax再log要稳定得多。还有一个除零的场景Dice Loss 的公式里有分母 |P| |G|如果一段数据里完全没有前景目标分母就是 0。如果要和 masking 逻辑叠加一定要在分母加一个极小的平滑项比如 1e-6否则训练跑到某个 batch 就会突然爆 NaN。5.3 一张损失函数选型速查表不同任务对应不同损失函数我把工作中最常用的情况整理成一张速查表可以直接截图照着选任务类型推荐损失函数注意事项单标签多分类交叉熵CE输入 logits不要手动 softmax 再 log多标签分类BCEWithLogitsLoss每个标签独立计算配 sigmoid二分类不平衡Focal Loss / 加权 BCEγ 从 2 开始试图像分割CE Dice 混合比例 0.5:0.5 起步前景占比小时加大 Dice常规回归MSE数据干净、误差高斯分布时首选回归含离群点Huber Lossδ 从 1 开始调回归含不确定性Gaussian NLL输出两个头mean variance检索 / 表征InfoNCE / Tripletτ 在 0.07~0.2 之间网格搜索多任务动态权重 sum先按 loss 量纲归一再加权这张表不是理论上的“最优解”而是工程上的“最稳起点”。实际面对新任务时先在这里面找到最接近的选项把模型跑通再根据训练现象去调整远比一开始就设计一个花哨的组合式损失函数要靠谱得多。6. 常见问题与排查技巧实录6.1 loss 变成 NaN五个最快的排查方向训练中途 loss 变 NaN 是每个深度学习从业者的必修课。遇到这种情况不要慌按顺序排查下面五件事大概率能定位问题。第一查学习率。学习率过大是最常见的原因梯度在某个 batch 上冲过了头参数变成 NaN之后再也回不来。可以先把学习率降到原来的十分之一试一下如果 loss 恢复正常说明优化器设置偏激进。第二查损失函数输入。看一下有没有log(0)、除以 0 的操作特别留意你自定义的权重和 mask 是否在某个边缘 case 下失效。第三查数据。原始特征里存在 NaN 或者无穷大会在反向传播时传导到所有参数。第四查当 batch 的标签是否为空。很多带 mask 的场景一个 batch 如果全部被 mask 掉loss 变成 0 或者 0/0直接触发 NaN。第五查数值上溢。logits 值超过 10 甚至 100 时softmax 的指数运算会溢出这时候就需要 LogSumExp 或者检查前面的网络结构是否存在无约束的大数值输出。6.2 loss 不降 / 指标不动先怀疑损失本身loss 一直不降很多人第一反应是模型容量不够、数据量太少。但根据我的经验第一个要怀疑的永远是损失函数本身有没有写对。先做个“单样本过拟合测试”把训练集缩减到一个 batch让模型反复过拟合这几十个样本。如果 loss 能降到接近 0说明模型和损失函数都能正常工作问题出在数据或者训练策略上如果连单 batch 都过拟合不了那问题几乎肯定在损失函数实现上。这个测试思路我每次开新项目都会做成本只有几分钟却能省下动辄几小时的盲目调参。还有一个补充技巧打印第一个 batch 的 loss 数值手动用公式计算一遍。比如你的 batch 里有 4 个样本手算期望的初始 loss 大约是多少如果实际打印值和手算值差了一个数量级那损失函数内部一定有 bug。6.3 指标与 loss 走势背离优化目标错位怎么办还有一种非常磨人的情况loss 在稳稳下降但准确率、AUC、召回率这些业务指标完全不动。这种情况下损失函数没有写“错”只是写“偏”了——优化目标和业务指标不是一回事。最常见的例子是拿 MSE 去优化一个本质上是排序问题的指标。MSE 关注的是数值上贴近真实标签而 AUC 关注的是正负样本的相对顺序。两者虽然相关但梯度方向并不总是一致。解决办法是重新设计损失函数让优化目标和业务指标尽量对齐。分类问题想优化 AUC考虑用排序损失检测问题想优化 mAP考虑用 Smooth L1 或者更贴近 IoU 的损失。另一个典型的错位是分类阈值没有校准。模型输出的概率本身就是 0/1 分布指标却用固定阈值判断对错模型就算优化到极致也可能在阈值附近抖动。这时候不一定要换损失函数而是要把阈值的选取问题单独拎出来调。说到最后我还是想分享一个每天都用的操作习惯正式训练前我一定会在一个随机固定 seed 的条件下用非常小的数据集跑一个两三分钟的冒烟测试关键就是去看损失函数能不能在第一批数据上给出符合预期的数值、梯度能不能正常回传。这个小习惯帮我拦下了无数个写错正负号、写反 mask、漏掉权重系数的低级 bug。损失函数是整个训练系统里最值得花时间去抠的零部件它定了模型才有机会真正学出你想要的那个方向。

损失函数全解析：从交叉熵到Focal Loss的选型与实践指南

相关推荐

Kinovea 开源项目使用教程

STM32 定时器输入捕获

5 分钟上手 Buzz：把本地音频和录音变成文字稿的离线转录工具

更多资讯

从OpenClaw到Hermes：一条命令搞定智能体迁移

GoFramePro实战：从零搭建高工程化Go业务后端接口

边缘计算采集模块 vs 传统 DAQ：8 通道同步这件事，差在哪一步

边缘采集模块选型：一张表筛掉八成候选，剩下三个指标才决定成败

甲子考：从「岁在甲子天下大吉」到第七十六甲子——首位干支的八轮古籍深挖

AI数据中心吉瓦时代来临：核电长期购电协议为何成新趋势？

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？