在深度学习模型迭代过程中一个经常被忽视、但影响极大的环节是训练数据本身。很多团队在调模型结构、调损失函数、调超参数上花掉大量时间却很少回头审视数据质量对模型性能的制约。本文从一个更贴近工程落地的角度切入围绕“优化数据”与“知识蒸馏”的关联介绍一种可执行的思路PROOF-Gen。文中会拆解知识蒸馏的基本原理、优化数据生成的核心逻辑以及如何把这一套方法嵌入到类似 SEM 数据科学工作流从点击归因到预算优化的闭环实践中帮助读者理解数据优化不是预处理阶段的“一次性工作”而是贯穿模型训练、评估、迭代全链路的关键手段。1. 背景与核心概念1.1 什么是知识蒸馏知识蒸馏Knowledge Distillation最早由 Hinton 等人提出核心思想是让一个小模型Student去学习一个大模型Teacher的输出分布而不是直接学习硬标签。在传统监督学习中模型学习的是“这张图片是猫”的离散标签而在知识蒸馏中教师模型会输出一组概率分布例如“猫 0.82、狗 0.15、鸟 0.03”。这组分布里包含了教师模型对样本的“犹豫程度”相似类别之间的关联信息以及它对噪声样本的鲁棒性理解。学生模型通过模仿这组软标签往往能比直接学习硬标签获得更好的泛化能力。输入样本 - 教师模型大而强 - 软标签概率分布 输入样本 - 学生模型小而快 - 预测分布 损失函数 alpha * 蒸馏损失 beta * 硬标签损失知识蒸馏的价值主要体现在以下几个方面模型压缩把 BERT-Large 蒸馏成 TinyBERT把 ResNet-152 蒸馏成 ResNet-18在推理速度上获得成倍提升精度损失控制在可接受范围。迁移学习把在大型数据集上预训练的模型知识迁移到特定业务场景的小模型上。集成模型蒸馏把多个模型的集成知识压缩到单一模型中便于部署和维护。1.2 什么是优化数据优化数据Optimized Data并不是指简单的数据清洗、去重、缺失值填充而是指从“数据如何服务于模型训练”的角度对数据集进行系统性改造。传统的离线数据处理流程通常是收集日志 - 清洗 - 特征工程 - 训练模型。这套流程的问题在于数据一旦进入训练集就基本固定了后续所有的工作都在模型侧展开。而优化数据则强调数据本身也是一个可迭代、可优化的对象。常见的优化数据手段包括困难样本挖掘增加模型当前表现较差的样本比例。数据增强通过旋转、裁剪、加噪、同义词替换等方式生成新样本。样本加权对高价值样本赋予更高损失权重。伪标注使用模型预测结果补充无标注数据。蒸馏数据生成直接生成适合训练学生模型的合成数据。PROOF-Gen 这个名字可以拆解为 Proof证据/验证与 Generation生成的组合核心思路是在知识蒸馏过程中不仅仅依赖原始数据而是针对学生模型的薄弱环节生成更高质量、更有针对性的训练数据再借助蒸馏机制把教师模型的知识迁移给学生模型。换句话说它要回答的问题是如果原始数据不够好能否生成一批更好的数据来训练学生模型1.3 为什么数据优化与知识蒸馏需要结合在不少实际项目中我们面对的真实情况是教师模型已经很强了但学生模型无论怎么调参都达不到预期精度。表面上看是模型容量不足实际上往往是数据分布没有覆盖到教师模型擅长的区域或者学生模型犯错的位置恰好缺少对应的训练样本。这里有两个典型场景场景一数据不平衡。CTR 预估场景中点击样本远少于曝光样本。直接用小模型训练很容易把点击率预测值整体压低。如果教师模型能够提供更细腻的点击概率分布而学生模型又能在“点击与不点击边界区域”获得更多训练数据效果会有明显提升。场景二标注噪声。业务方提供的标签存在较多错误教师模型经过大规模预训练后对部分噪声标签有较强的纠正能力。如果学生模型直接学习硬标签会被噪声带偏如果学习软标签则能在一定程度上规避噪声。此时优化数据的重点就变成了“如何从教师模型获取高质量软标签并且构造额外的训练样本来强化边界学习”。PROOF-Gen 正是从这两个场景出发提出了一套以数据生成为核心、以知识蒸馏为学习框架的闭环方法。2. 环境准备与版本说明为了让读者能够在本地复现本文的示例这里给出推荐的环境配置。版本不需要完全一致但 Python 版本建议不低于 3.8PyTorch 建议使用 1.10 及以上版本。组件推荐版本说明Python3.8语言环境PyTorch1.10深度学习框架NumPy1.21数值计算scikit-learn1.0数据划分与评估tqdm4.60训练进度显示操作系统Ubuntu 20.04 / macOS / Windows跨平台本文的示例代码以 CPU 运行为主如果你有 GPU 环境可以把相关张量操作迁移到 CUDA 上训练速度会快很多。项目结构建议如下prooff_gen_demo/ ├── data/ │ ├── raw/ # 原始数据 │ └── generated/ # 优化数据 ├── models/ │ ├── teacher.py # 教师模型定义 │ ├── student.py # 学生模型定义 │ └── distiller.py # 蒸馏逻辑 ├── utils/ │ ├── dataset.py # 数据加载 │ └── metrics.py # 评估函数 ├── config.py # 超参数配置 └── train_distill.py # 训练入口接下来动手搭建环境# 创建虚拟环境推荐 python -m venv venv_proof source venv_proof/bin/activate # Windows 下使用 venv_proof\Scripts\activate # 安装依赖 pip install torch torchvision numpy scikit-learn tqdm如果你使用的是国内镜像源可以加快安装速度pip install torch torchvision numpy scikit-learn tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple3. 知识蒸馏的核心原理拆解3.1 软标签与温度参数知识蒸馏最核心的机制是软标签。教师模型对每个样本输出的概率分布经过 Softmax 层后通常非常尖锐例如某个类别概率为 0.99其他类别接近 0。这样的分布对于学生模型来说难以获得类别间关联信息。因此Hinton 引入了温度参数 T将 Softmax 计算修改为q_i exp(z_i / T) / sum_j exp(z_j / T)其中 z_i 是模型输出的 logitsT 是温度参数。T 越大输出的概率分布越平滑样本类别之间的“软相似度”就越明显T1 时就是普通 Softmax。在蒸馏训练中教师模型和学生模型使用相同的温度 T 来计算软标签和预测分布然后再计算蒸馏损失。3.2 蒸馏损失函数典型的知识蒸馏损失函数包含两项L alpha * T^2 * KL(student_logits / T, teacher_logits / T) (1 - alpha) * CE(student_logits, hard_label)其中第一项在高温下计算 KL 散度让学生模型的概率分布逼近教师模型第二项是学生模型与真实硬标签的交叉熵保证学生不会偏离真实任务。系数 alpha 用于平衡两者T^2 用于修正温度缩放带来的梯度尺度变化。3.3 为什么 PROOF-Gen 能提升蒸馏效果标准蒸馏中学生模型从教师模型学到的信息受限于原始训练数据的范围。如果原始数据中某些区域的样本很少教师模型在这些区域的可能也不够准确学生模型自然学不好。PROOF-Gen 的思路是找到学生模型表现较差的区域针对性地生成训练数据同时让教师模型为这些新生成的数据打软标签再投入蒸馏训练。这个过程有点像查阅错题集学生刷题遇到了瓶颈只靠重复做旧题不会有太大提升需要针对薄弱知识点举一反三生成变式题来练习。PROOF-Gen 可以看作“举一反三”的数据引擎。3.4 PROOF-Gen 的总体流程原始训练数据 | v 训练教师模型 Teacher | v 训练学生模型 Student标准蒸馏 | v 评估学生模型定位薄弱区域 | v 基于薄弱区域生成优化数据候选样本构造/特征扰动/插值 | v 教师模型为优化数据生成软标签 | v 合并原始数据与优化数据再次蒸馏训练学生模型 | v 输出最终学生模型整个过程可以迭代多轮每一轮都根据上一轮学生模型的表现来调整数据生成策略。这样做的好处是数据优化不再是脱离模型盲目扩样而是与模型弱点形成闭环。4. 从优化数据到更好蒸馏的完整实战这一节我们用一个贴近业务的开源示例数据集来演示完整流程。为了便于理解这里以二分类问题为背景比如用户点击预测点击1不点击0。4.1 创建项目结构按照前面给出的目录结构创建项目文件夹mkdir -p prooff_gen_demo/{data/raw,data/generated,models,utils} cd prooff_gen_demo4.2 数据准备我们使用 scikit-learn 的make_classification生成一份模拟数据。它虽然不是真实业务数据但足以演示 PROOF-Gen 的完整思路。# 文件路径utils/dataset.py import numpy as np from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split import torch from torch.utils.data import Dataset, DataLoader def generate_raw_data(n_samples5000, random_state42): 生成模拟二分类数据 返回X (n_samples, n_features), y (n_samples,) X, y make_classification( n_samplesn_samples, n_features16, n_informative8, n_redundant4, n_clusters_per_class2, flip_y0.05, weights[0.7, 0.3], random_staterandom_state, ) return X, y class DistillDataset(Dataset): def __init__(self, X, y, teacher_logitsNone): self.X torch.tensor(X, dtypetorch.float32) self.y torch.tensor(y, dtypetorch.long) if teacher_logits is not None: self.teacher_logits torch.tensor(teacher_logits, dtypetorch.float32) else: self.teacher_logits None def __len__(self): return len(self.X) def __getitem__(self, idx): x self.X[idx] y self.y[idx] if self.teacher_logits is not None: return x, y, self.teacher_logits[idx] return x, y if __name__ __main__: X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print(训练集大小:, X_train.shape) print(测试集大小:, X_test.shape) print(训练集正样本比例:, y_train.mean())运行这段代码会输出类似结果训练集大小: (4000, 16) 测试集大小: (1000, 16) 训练集正样本比例: 0.304.3 定义教师模型与学生模型为了演示我们把教师模型定义为一个稍宽的全连接网络学生模型定义为一个较窄的网络。业务中教师模型可以是 BERT、大规模深度模型或模型集成但原理是共通的。# 文件路径models/teacher.py import torch.nn as nn class TeacherModel(nn.Module): def __init__(self, input_dim16, hidden_dim128, num_classes2): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.1), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, num_classes), ) def forward(self, x): return self.net(x)# 文件路径models/student.py import torch.nn as nn class StudentModel(nn.Module): def __init__(self, input_dim16, hidden_dim16, num_classes2): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, num_classes), ) def forward(self, x): return self.net(x)这里教师模型的隐藏维度是 128学生模型是 16容量差异明显符合“大教师、小学生”的典型设置。4.4 实现蒸馏训练逻辑蒸馏训练是 PROOF-Gen 的基础。我们需要计算两类损失蒸馏损失和硬标签损失。# 文件路径models/distiller.py import torch import torch.nn as nn import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, hard_labels, T3.0, alpha0.7): 知识蒸馏损失 - student_logits: 学生模型输出 (batch, num_classes) - teacher_logits: 教师模型输出 (batch, num_classes) - hard_labels: 真实标签 (batch,) - T: 温度参数 - alpha: 蒸馏损失占比 # 蒸馏损失在温度 T 下计算 KL 散度 student_soft F.log_softmax(student_logits / T, dim1) teacher_soft F.softmax(teacher_logits / T, dim1) distill_loss F.kl_div(student_soft, teacher_soft, reductionbatchmean) * (T * T) # 硬标签损失标准交叉熵 hard_loss F.cross_entropy(student_logits, hard_labels) # 加权合并 total_loss alpha * distill_loss (1 - alpha) * hard_loss return total_loss, distill_loss, hard_loss def train_one_epoch(model, dataloader, optimizer, devicecpu): model.train() total_loss 0.0 for batch in dataloader: x, y, teacher_logits [item.to(device) for item in batch] optimizer.zero_grad() student_logits model(x) loss, _, _ distillation_loss(student_logits, teacher_logits, y) loss.backward() optimizer.step() total_loss loss.item() * x.size(0) return total_loss / len(dataloader.dataset) def evaluate(model, dataloader, devicecpu): model.eval() correct 0 total 0 with torch.no_grad(): for batch in dataloader: x, y batch[0].to(device), batch[1].to(device) logits model(x) preds logits.argmax(dim1) correct (preds y).sum().item() total y.size(0) return correct / total这里有一个关键细节F.kl_div的第一个参数要求是对数概率因此我们对学生输出使用log_softmax教师输出使用普通softmax然后乘上T * T恢复梯度尺度。4.5 训练教师模型并生成软标签接下来先训练教师模型然后在训练集和测试集上保存教师模型的 logits作为后续蒸馏的软标签来源。# 文件路径train_teacher.py import torch import torch.nn as nn from torch.utils.data import DataLoader from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.teacher import TeacherModel def train_teacher(): # 数据准备 X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) train_dataset DistillDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) # 模型与优化器 device cuda if torch.cuda.is_available() else cpu model TeacherModel().to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() # 训练 10 个 epoch for epoch in range(10): model.train() total_loss 0.0 for x_batch, y_batch in train_loader: x_batch, y_batch x_batch.to(device), y_batch.to(device) optimizer.zero_grad() logits model(x_batch) loss criterion(logits, y_batch) loss.backward() optimizer.step() total_loss loss.item() * x_batch.size(0) avg_loss total_loss / len(train_loader.dataset) print(fEpoch {epoch1}, Loss: {avg_loss:.4f}) # 保存模型 torch.save(model.state_dict(), models/teacher.pth) print(教师模型已保存到 models/teacher.pth) # 为训练集和测试集生成教师 logits full_train_dataset DistillDataset(X_train, y_train) full_test_dataset DistillDataset(X_test, y_test) train_loader_full DataLoader(full_train_dataset, batch_size256, shuffleFalse) test_loader_full DataLoader(full_test_dataset, batch_size256, shuffleFalse) model.eval() train_logits [] with torch.no_grad(): for x_batch, _ in train_loader_full: x_batch x_batch.to(device) train_logits.append(model(x_batch).cpu()) train_logits torch.cat(train_logits, dim0).numpy() test_logits [] with torch.no_grad(): for x_batch, _ in test_loader_full: x_batch x_batch.to(device) test_logits.append(model(x_batch).cpu()) test_logits torch.cat(test_logits, dim0).numpy() np.save(data/raw/train_teacher_logits.npy, train_logits) np.save(data/raw/test_teacher_logits.npy, test_logits) print(教师软标签已保存) if __name__ __main__: import numpy as np train_teacher()4.6 标准蒸馏基线为了验证 PROOF-Gen 的效果我们需要先跑一个标准蒸馏基线学生模型只使用原始训练数据和教师软标签进行训练。# 文件路径train_baseline.py import numpy as np import torch from torch.utils.data import DataLoader from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.student import StudentModel from models.distiller import train_one_epoch, evaluate X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) teacher_train_logits np.load(data/raw/train_teacher_logits.npy) teacher_test_logits np.load(data/raw/test_teacher_logits.npy) train_dataset DistillDataset(X_train, y_train, teacher_train_logits) test_dataset DistillDataset(X_test, y_test, teacher_test_logits) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) device cuda if torch.cuda.is_available() else cpu student StudentModel().to(device) optimizer torch.optim.Adam(student.parameters(), lr1e-3) for epoch in range(20): avg_loss train_one_epoch(student, train_loader, optimizer, device) acc evaluate(student, test_loader, device) print(fEpoch {epoch1}, Loss: {avg_loss:.4f}, Test Acc: {acc:.4f}) # 保存基线模型 torch.save(student.state_dict(), models/student_baseline.pth)运行后观察测试准确率这个结果将作为优化数据增强效果的对照基准。4.7 定位学生模型的薄弱区域接下来是 PROOF-Gen 的“关键动作”分析基线学生模型在哪些样本上犯错、哪些样本上预测置信度偏低进而圈定需要生成优化数据的区域。# 文件路径utils/weakness_analysis.py import numpy as np import torch from torch.utils.data import DataLoader from utils.dataset import DistillDataset def analyze_weakness(model, dataset, devicecpu): 返回样本的错误标记、预测类别、置信度、logits loader DataLoader(dataset, batch_size256, shuffleFalse) model.eval() all_preds [] all_conf [] all_logits [] all_labels [] with torch.no_grad(): for batch in loader: x, y batch[0].to(device), batch[1].to(device) logits model(x) probs torch.softmax(logits, dim1) preds logits.argmax(dim1) conf, _ probs.max(dim1) all_preds.append(preds.cpu().numpy()) all_conf.append(conf.cpu().numpy()) all_logits.append(logits.cpu().numpy()) all_labels.append(y.numpy()) preds np.concatenate(all_preds) conf np.concatenate(all_conf) logits np.concatenate(all_logits) labels np.concatenate(all_labels) wrong_mask preds ! labels low_conf_mask conf 0.6 # 置信度阈值可以根据业务调整 return wrong_mask, low_conf_mask, logits, labels“薄弱区域”的判定方式可以有多种预测错误的样本。置信度低于阈值的样本。与错误样本特征距离较近的未标注样本。教师模型与学生模型预测分歧较大的样本。在示例中我们以“预测错误 低置信度”作为薄弱样本的筛选条件。4.8 PROOF-Gen 生成优化数据生成优化数据的策略不是唯一的。下面是几种工程上常用的思路4.8.1 特征空间插值法Mixup 风格对两个同类样本的特征做加权插值标签也按相同权重插值。如果其中一个样本是薄弱样本插值后可以产生更多“边界附近”的训练数据。# 文件路径utils/augmentation.py import numpy as np def mixup_augment(X, y, weak_indices, alpha0.4, n_generate1000, random_state42): 基于薄弱样本在同类样本间进行特征插值 X: 原始特征 y: 原始标签 weak_indices: 薄弱样本下标 n_generate: 需要生成的新样本数量 rng np.random.RandomState(random_state) n_samples, n_features X.shape # 收集每个类别的样本下标 class_indices {0: np.where(y 0)[0], 1: np.where(y 1)[0]} new_X [] new_y [] for _ in range(n_generate): # 随机选一个薄弱样本 idx rng.choice(weak_indices) label y[idx] # 从同类样本中随机选另一个样本 candidates class_indices[label] other_idx rng.choice(candidates) # 插值系数 lam rng.beta(alpha, alpha) new_x lam * X[idx] (1 - lam) * X[other_idx] new_X.append(new_x) new_y.append(label) return np.array(new_X), np.array(new_y)4.8.2 条件噪声扰动法往薄弱样本的特征中注入适量高斯噪声模拟特征波动这样可以增强模型对特征扰动的鲁棒性。def noise_augment(X, y, weak_indices, noise_scale0.05, n_generate1000, random_state42): rng np.random.RandomState(random_state) new_X [] new_y [] for _ in range(n_generate): idx rng.choice(weak_indices) noise rng.normal(0, noise_scale, sizeX.shape[1]) new_x X[idx] noise new_X.append(new_x) new_y.append(y[idx]) return np.array(new_X), np.array(new_y)4.8.3 教师模型分歧导向生成这是一种更贴合蒸馏的生成方式找出“教师模型预测正确而学生模型预测错误”的样本在这些样本附近生成数据。生成的新样本会同时保留教师模型的高置信度软标签天然适合蒸馏训练。def teacher_student_disagreement(X, y, teacher_logits, preds, labels): 返回教师与学生预测不一致的样本下标 这里定义教师预测正确argmax(teacher_logits)label且学生预测错误preds!label的样本 teacher_preds np.argmax(teacher_logits, axis1) mask (teacher_preds labels) (preds ! labels) return np.where(mask)[0]4.9 完整 PROOF-Gen 训练脚本下面把上述模块整合成一个完整的 PROOF-Gen 训练脚本。这里以“Mixup 插值 条件噪声扰动”两种方式生成优化数据再交由教师模型打软标签最后合并原始数据训练学生模型。# 文件路径train_prooff_gen.py import numpy as np import torch from torch.utils.data import DataLoader, ConcatDataset from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.teacher import TeacherModel from models.student import StudentModel from models.distiller import train_one_epoch, evaluate from utils.weakness_analysis import analyze_weakness from utils.augmentation import mixup_augment, noise_augment def main(): # 1. 准备原始数据 X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 2. 加载教师模型并为训练集/测试集生成 logits device cuda if torch.cuda.is_available() else cpu teacher TeacherModel().to(device) teacher.load_state_dict(torch.load(models/teacher.pth, map_locationdevice)) teacher_train_logits np.load(data/raw/train_teacher_logits.npy) teacher_test_logits np.load(data/raw/test_teacher_logits.npy) # 3. 训练基线学生模型标准蒸馏 train_dataset DistillDataset(X_train, y_train, teacher_train_logits) test_dataset DistillDataset(X_test, y_test, teacher_test_logits) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) student StudentModel().to(device) optimizer torch.optim.Adam(student.parameters(), lr1e-3) for epoch in range(10): avg_loss train_one_epoch(student, train_loader, optimizer, device) baseline_acc evaluate(student, test_loader, device) print(fBaseline Student Test Acc: {baseline_acc:.4f}) # 4. 分析薄弱区域 train_dataset_no_logits DistillDataset(X_train, y_train) wrong_mask, low_conf_mask, _, _ analyze_weakness(student, train_dataset_no_logits, device) weak_indices np.where(wrong_mask | low_conf_mask)[0] print(f薄弱样本数量: {len(weak_indices)} / {len(X_train)}) # 5. 生成优化数据 X_mix, y_mix mixup_augment(X_train, y_train, weak_indices, n_generate500) X_noise, y_noise noise_augment(X_train, y_train, weak_indices, n_generate500) X_aug np.vstack([X_mix, X_noise]) y_aug np.hstack([y_mix, y_noise]) print(f生成优化数据数量: {len(X_aug)}) # 6. 教师模型为优化数据打软标签 teacher.eval() aug_logits [] with torch.no_grad(): for i in range(0, len(X_aug), 256): x_batch torch.tensor(X_aug[i:i256], dtypetorch.float32).to(device) aug_logits.append(teacher(x_batch).cpu().numpy()) aug_logits np.concatenate(aug_logits, axis0) # 7. 合并数据重新训练学生模型 aug_dataset DistillDataset(X_aug, y_aug, aug_logits) combined_dataset ConcatDataset([train_dataset, aug_dataset]) combined_loader DataLoader(combined_dataset, batch_size64, shuffleTrue) student_final StudentModel().to(device) optimizer_final torch.optim.Adam(student_final.parameters(), lr1e-3) for epoch in range(10): avg_loss train_one_epoch(student_final, combined_loader, optimizer_final, device) final_acc evaluate(student_final, test_loader, device) print(fPROOF-Gen Student Test Acc: {final_acc:.4f}) # 8. 保存最终模型 torch.save(student_final.state_dict(), models/student_prooff_gen.pth) if __name__ __main__: main()4.10 运行与结果说明按顺序运行脚本python train_teacher.py python train_baseline.py python train_prooff_gen.py预期输出大致是Baseline Student Test Acc: 0.86xx 薄弱样本数量: 5xx / 4000 生成优化数据数量: 1000 PROOF-Gen Student Test Acc: 0.88xx由于数据是随机生成的每次运行结果会有波动但整体趋势是加入 PROOF-Gen 优化数据后学生模型在测试集上的准确率会高于标准蒸馏基线。在真实业务数据上如果原始数据本身存在明显的不平衡、噪声或覆盖不足这种提升往往更为明显。4.11 在 SEM 数据科学工作流中的应用前面提到“从点击归因到预算优化的闭环实践”这实际上是一个典型的 SEM搜索引擎营销数据科学项目。大致链路如下点击日志 - 点击归因 - 特征工程 - 转化率预估模型 - 预算分配决策在这个链路里知识蒸馏可以应用在转化率预估模型上。大型教师模型可以综合大量用户行为序列和广告特征进行精细预估但线上推理时延敏感必须部署一个小模型。此时使用 PROOF-Gen 的思路从点击归因结果中提取训练样本。训练一个复杂教师模型学习高维特征交互。训练一个轻量学生模型作为线上预估模型。分析学生模型在“高转化率/低点击率”等边界样本上的薄弱表现。在这些边界区域生成优化数据对广告特征做插值、对用户特征做噪声扰动或者构造“相似广告”样本来补充稀缺区域。重新蒸馏提升小模型在关键决策区域的精度。这样做直接影响的不是整体准确率而是预算分配的质量。因为预算优化依赖的是每个广告组的转化率排序如果小模型在边界样本上犯错可能导致预算错配ROI 下降。因此优化数据不必追求整体样本均匀分布而应重点补充“预算决策边界附近”的数据。这正是 PROOF-Gen 的核心工程价值数据生成不再是无差别增强而是围绕模型弱点与业务关键区域进行定点优化。5. 常见问题与排查思路在实际运行 PROOF-Gen 流程时读者可能会遇到下面这些典型问题。这里整理成表格方便快速定位。问题现象常见原因解决思路教师模型与分类数据标签维度不匹配num_classes设置错误检查模型输出维度是否与标签最大值1一致蒸馏损失不下降温度 T 过大或过小尝试 T1、3、5、10观察验证集效果alpha 过大导致硬标签信息丢失蒸馏损失占比太高将 alpha 从 0.7 调低到 0.5 或 0.3优化数据生成后模型没有提升薄弱区域定位不准确检查 weak_indices 是否过少尝试调整置信度阈值生成数据量过大导致训练变慢扩增比例过高控制生成数量为原始数据的 10%~30%特征插值产生越界样本Mixup 在非同类样本间插值确保只在同类样本间做插值或使用标签平滑教师模型软标签置信度集中在 0.9温度 T1 时分布过于尖锐适当增大 T软化分布线上效果与离线评估不一致训练分布与线上分布有差异在优化数据中加入线上特征分布统计使用对抗验证5.1 蒸馏损失为 NaN 怎么办这种情况通常是 logits 中出现极端值导致 Softmax 结果溢出。检查方法print(torch.isnan(student_logits).sum()) print(torch.isinf(student_logits).sum())解决方案降低学习率。对 logits 做裁剪logits torch.clamp(logits, min-10, max10)。检查特征中是否存在 NaN 或极大异常值。5.2 为什么优化数据在某些任务上没有带来提升PROOF-Gen 并不是万能药它的前提是教师模型已经学得足够好而学生模型的不足确实源于数据覆盖问题。如果教师模型本身不够强或者学生模型容量严重不足那么再多的优化数据也无法解决问题。此时应该先检查教师模型在验证集上的表现是否显著优于学生模型。学生模型在“薄弱样本”上是否有足够的表示能力。生成的数据是否真的覆盖了决策边界。6. 最佳实践与工程建议6.1 定义清晰的“薄弱区域”指标不要笼统地使用“准确率低”作为唯一的薄弱区域标准。在分类任务中可以组合多个指标错误预测样本。预测置信度低于阈值的样本。教师与学生预测分歧大的样本。业务侧定义的“高价值样本”比如 SEM 预算分配中的高转化率广告组。建议将薄弱样本的标签、特征、教师预测、学生预测、置信度完整落表方便后续分析和追溯。6.2 控制优化数据的规模与质量优化数据不是越多越好。过多的合成样本会稀释原始数据分布甚至引入噪声。工程上建议初始阶段控制生成数量在原始训练集的 10% 到 30%。每个 epoch 结束时验证学生模型在固定验证集上的表现不要只看训练损失。新生成的数据可以视为“候选集”通过模型训练后的效果反馈决定是否纳入下一轮。6.3 多轮迭代逐步逼近PROOF-Gen 不是一个一次性的数据增强步骤而是一个迭代闭环。推荐做多轮迭代第一轮标准蒸馏得到基线。第二轮基于第一轮学生模型的薄弱区域生成数据再次蒸馏。第三轮基于第二轮学生模型的薄弱区域继续生成数据。每一轮生成的样本都应该由教师模型重新打软标签保证软标签质量。Round 1: Distill(student_1, teacher, D_original) - analyze(weakness_1) Round 2: Distill(student_2, teacher, D_original D_gen_1) - analyze(weakness_2) Round 3: Distill(student_3, teacher, D_original D_gen_1 D_gen_2)6.4 数据生成策略要与业务匹配不同的业务场景适用的数据生成策略不同图像任务可以使用裁剪、旋转、色彩抖动、CutMix。文本任务可以使用回译、同义词替换、对抗样本生成。广告点击率预估可以使用特征插值、SMOTE、基于生成模型的样本合成。时序预测可以使用滑动窗口重采样、周期扰动。PROOF-Gen 的核心框架并不限定具体的生成算法读者完全可以替换为自己业务中适合的生成方法。6.5 维护数据版本与模型版本在实际工程中优化数据会不断迭代如果没有版本管理很容易出现“模型效果回退但找不到是数据还是模型变化导致”的问题。建议每一轮生成的数据单独存储记录生成策略、参数和日期。使用 DVC 或简单的时间戳目录管理数据版本。在训练日志中记录数据版本 ID、代码版本、超参数保证可复现。6.6 关注安全与隐私边界如果原始数据涉及用户隐私或业务敏感信息数据生成时必须格外注意不得基于用户敏感属性生成可反推真实用户身份的数据。合成数据同样需要脱敏处理尤其是文本和图像生成场景。对生成数据做差分隐私扰动或者避免使用真实 ID 作为特征。所有实验必须在公司合规的数据安全规范下进行不把内部数据外传。6.7 在知识蒸馏之外扩展思路PROOF-Gen 的核心方法论“定位薄弱区域 - 定向生成数据 - 重新训练”不仅适用于知识蒸馏也可以迁移到其他训练范式主动学习选择模型最不确定的样本交给人工标注而不是随机采样。课程学习先训练简单样本再逐步加入困难样本。对抗训练在模型薄弱区域生成对抗样本提升鲁棒性。理解这一点后读者可以把 PROOF-Gen 看成一套通用的“数据-模型协同优化”思路而不仅仅是蒸馏的附属工具。7. 后续学习与实践建议本文从知识蒸馏的基本原理出发逐步拆解了 PROOF-Gen 方法的实现流程并给出了完整可运行的示例代码。读完并跑通示例后以下几点值得继续深入第一深入研究蒸馏损失函数的变体。除了 KL 散度还有基于特征匹配的蒸馏如 FitNets、基于注意力图的蒸馏如 AT、基于关系的蒸馏如 RKD。不同的蒸馏方式对数据质量的要求不同PROOF-Gen 的数据生成策略也需要相应调整。第二尝试更强的数据生成模型。当前示例使用的是特征插值和噪声扰动在复杂高维数据上可以考虑训练一个条件生成模型如 VAE、GAN生成与薄弱区域同分布的新样本。这会让 PROOF-Gen 的上限更高但也对工程实现提出了更高要求。第三把 PROOF-Gen 纳入数据科学工作流。前面提到的 SEM 场景只是其中一个例子类似的闭环还存在于推荐系统、风控模型、自然语言处理等领域。关键是建立起“模型评估 - 薄弱定位 - 数据优化 - 重新训练”的工程闭环让数据和模型形成持续进化的双引擎。如果你打算在自己的项目中落地 PROOF-Gen建议从一个小规模数据集开始先复现标准蒸馏基线再逐步加入优化数据记录每一个阶段的效果变化。当你看到模型在薄弱区域上的表现逐步改善时就会理解为什么说“优化数据”和“知识蒸馏”是一对值得深度结合的技术组合。
在深度学习模型迭代过程中一个经常被忽视、但影响极大的环节是训练数据本身。很多团队在调模型结构、调损失函数、调超参数上花掉大量时间却很少回头审视数据质量对模型性能的制约。本文从一个更贴近工程落地的角度切入围绕“优化数据”与“知识蒸馏”的关联介绍一种可执行的思路PROOF-Gen。文中会拆解知识蒸馏的基本原理、优化数据生成的核心逻辑以及如何把这一套方法嵌入到类似 SEM 数据科学工作流从点击归因到预算优化的闭环实践中帮助读者理解数据优化不是预处理阶段的“一次性工作”而是贯穿模型训练、评估、迭代全链路的关键手段。1. 背景与核心概念1.1 什么是知识蒸馏知识蒸馏Knowledge Distillation最早由 Hinton 等人提出核心思想是让一个小模型Student去学习一个大模型Teacher的输出分布而不是直接学习硬标签。在传统监督学习中模型学习的是“这张图片是猫”的离散标签而在知识蒸馏中教师模型会输出一组概率分布例如“猫 0.82、狗 0.15、鸟 0.03”。这组分布里包含了教师模型对样本的“犹豫程度”相似类别之间的关联信息以及它对噪声样本的鲁棒性理解。学生模型通过模仿这组软标签往往能比直接学习硬标签获得更好的泛化能力。输入样本 - 教师模型大而强 - 软标签概率分布 输入样本 - 学生模型小而快 - 预测分布 损失函数 alpha * 蒸馏损失 beta * 硬标签损失知识蒸馏的价值主要体现在以下几个方面模型压缩把 BERT-Large 蒸馏成 TinyBERT把 ResNet-152 蒸馏成 ResNet-18在推理速度上获得成倍提升精度损失控制在可接受范围。迁移学习把在大型数据集上预训练的模型知识迁移到特定业务场景的小模型上。集成模型蒸馏把多个模型的集成知识压缩到单一模型中便于部署和维护。1.2 什么是优化数据优化数据Optimized Data并不是指简单的数据清洗、去重、缺失值填充而是指从“数据如何服务于模型训练”的角度对数据集进行系统性改造。传统的离线数据处理流程通常是收集日志 - 清洗 - 特征工程 - 训练模型。这套流程的问题在于数据一旦进入训练集就基本固定了后续所有的工作都在模型侧展开。而优化数据则强调数据本身也是一个可迭代、可优化的对象。常见的优化数据手段包括困难样本挖掘增加模型当前表现较差的样本比例。数据增强通过旋转、裁剪、加噪、同义词替换等方式生成新样本。样本加权对高价值样本赋予更高损失权重。伪标注使用模型预测结果补充无标注数据。蒸馏数据生成直接生成适合训练学生模型的合成数据。PROOF-Gen 这个名字可以拆解为 Proof证据/验证与 Generation生成的组合核心思路是在知识蒸馏过程中不仅仅依赖原始数据而是针对学生模型的薄弱环节生成更高质量、更有针对性的训练数据再借助蒸馏机制把教师模型的知识迁移给学生模型。换句话说它要回答的问题是如果原始数据不够好能否生成一批更好的数据来训练学生模型1.3 为什么数据优化与知识蒸馏需要结合在不少实际项目中我们面对的真实情况是教师模型已经很强了但学生模型无论怎么调参都达不到预期精度。表面上看是模型容量不足实际上往往是数据分布没有覆盖到教师模型擅长的区域或者学生模型犯错的位置恰好缺少对应的训练样本。这里有两个典型场景场景一数据不平衡。CTR 预估场景中点击样本远少于曝光样本。直接用小模型训练很容易把点击率预测值整体压低。如果教师模型能够提供更细腻的点击概率分布而学生模型又能在“点击与不点击边界区域”获得更多训练数据效果会有明显提升。场景二标注噪声。业务方提供的标签存在较多错误教师模型经过大规模预训练后对部分噪声标签有较强的纠正能力。如果学生模型直接学习硬标签会被噪声带偏如果学习软标签则能在一定程度上规避噪声。此时优化数据的重点就变成了“如何从教师模型获取高质量软标签并且构造额外的训练样本来强化边界学习”。PROOF-Gen 正是从这两个场景出发提出了一套以数据生成为核心、以知识蒸馏为学习框架的闭环方法。2. 环境准备与版本说明为了让读者能够在本地复现本文的示例这里给出推荐的环境配置。版本不需要完全一致但 Python 版本建议不低于 3.8PyTorch 建议使用 1.10 及以上版本。组件推荐版本说明Python3.8语言环境PyTorch1.10深度学习框架NumPy1.21数值计算scikit-learn1.0数据划分与评估tqdm4.60训练进度显示操作系统Ubuntu 20.04 / macOS / Windows跨平台本文的示例代码以 CPU 运行为主如果你有 GPU 环境可以把相关张量操作迁移到 CUDA 上训练速度会快很多。项目结构建议如下prooff_gen_demo/ ├── data/ │ ├── raw/ # 原始数据 │ └── generated/ # 优化数据 ├── models/ │ ├── teacher.py # 教师模型定义 │ ├── student.py # 学生模型定义 │ └── distiller.py # 蒸馏逻辑 ├── utils/ │ ├── dataset.py # 数据加载 │ └── metrics.py # 评估函数 ├── config.py # 超参数配置 └── train_distill.py # 训练入口接下来动手搭建环境# 创建虚拟环境推荐 python -m venv venv_proof source venv_proof/bin/activate # Windows 下使用 venv_proof\Scripts\activate # 安装依赖 pip install torch torchvision numpy scikit-learn tqdm如果你使用的是国内镜像源可以加快安装速度pip install torch torchvision numpy scikit-learn tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple3. 知识蒸馏的核心原理拆解3.1 软标签与温度参数知识蒸馏最核心的机制是软标签。教师模型对每个样本输出的概率分布经过 Softmax 层后通常非常尖锐例如某个类别概率为 0.99其他类别接近 0。这样的分布对于学生模型来说难以获得类别间关联信息。因此Hinton 引入了温度参数 T将 Softmax 计算修改为q_i exp(z_i / T) / sum_j exp(z_j / T)其中 z_i 是模型输出的 logitsT 是温度参数。T 越大输出的概率分布越平滑样本类别之间的“软相似度”就越明显T1 时就是普通 Softmax。在蒸馏训练中教师模型和学生模型使用相同的温度 T 来计算软标签和预测分布然后再计算蒸馏损失。3.2 蒸馏损失函数典型的知识蒸馏损失函数包含两项L alpha * T^2 * KL(student_logits / T, teacher_logits / T) (1 - alpha) * CE(student_logits, hard_label)其中第一项在高温下计算 KL 散度让学生模型的概率分布逼近教师模型第二项是学生模型与真实硬标签的交叉熵保证学生不会偏离真实任务。系数 alpha 用于平衡两者T^2 用于修正温度缩放带来的梯度尺度变化。3.3 为什么 PROOF-Gen 能提升蒸馏效果标准蒸馏中学生模型从教师模型学到的信息受限于原始训练数据的范围。如果原始数据中某些区域的样本很少教师模型在这些区域的可能也不够准确学生模型自然学不好。PROOF-Gen 的思路是找到学生模型表现较差的区域针对性地生成训练数据同时让教师模型为这些新生成的数据打软标签再投入蒸馏训练。这个过程有点像查阅错题集学生刷题遇到了瓶颈只靠重复做旧题不会有太大提升需要针对薄弱知识点举一反三生成变式题来练习。PROOF-Gen 可以看作“举一反三”的数据引擎。3.4 PROOF-Gen 的总体流程原始训练数据 | v 训练教师模型 Teacher | v 训练学生模型 Student标准蒸馏 | v 评估学生模型定位薄弱区域 | v 基于薄弱区域生成优化数据候选样本构造/特征扰动/插值 | v 教师模型为优化数据生成软标签 | v 合并原始数据与优化数据再次蒸馏训练学生模型 | v 输出最终学生模型整个过程可以迭代多轮每一轮都根据上一轮学生模型的表现来调整数据生成策略。这样做的好处是数据优化不再是脱离模型盲目扩样而是与模型弱点形成闭环。4. 从优化数据到更好蒸馏的完整实战这一节我们用一个贴近业务的开源示例数据集来演示完整流程。为了便于理解这里以二分类问题为背景比如用户点击预测点击1不点击0。4.1 创建项目结构按照前面给出的目录结构创建项目文件夹mkdir -p prooff_gen_demo/{data/raw,data/generated,models,utils} cd prooff_gen_demo4.2 数据准备我们使用 scikit-learn 的make_classification生成一份模拟数据。它虽然不是真实业务数据但足以演示 PROOF-Gen 的完整思路。# 文件路径utils/dataset.py import numpy as np from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split import torch from torch.utils.data import Dataset, DataLoader def generate_raw_data(n_samples5000, random_state42): 生成模拟二分类数据 返回X (n_samples, n_features), y (n_samples,) X, y make_classification( n_samplesn_samples, n_features16, n_informative8, n_redundant4, n_clusters_per_class2, flip_y0.05, weights[0.7, 0.3], random_staterandom_state, ) return X, y class DistillDataset(Dataset): def __init__(self, X, y, teacher_logitsNone): self.X torch.tensor(X, dtypetorch.float32) self.y torch.tensor(y, dtypetorch.long) if teacher_logits is not None: self.teacher_logits torch.tensor(teacher_logits, dtypetorch.float32) else: self.teacher_logits None def __len__(self): return len(self.X) def __getitem__(self, idx): x self.X[idx] y self.y[idx] if self.teacher_logits is not None: return x, y, self.teacher_logits[idx] return x, y if __name__ __main__: X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) print(训练集大小:, X_train.shape) print(测试集大小:, X_test.shape) print(训练集正样本比例:, y_train.mean())运行这段代码会输出类似结果训练集大小: (4000, 16) 测试集大小: (1000, 16) 训练集正样本比例: 0.304.3 定义教师模型与学生模型为了演示我们把教师模型定义为一个稍宽的全连接网络学生模型定义为一个较窄的网络。业务中教师模型可以是 BERT、大规模深度模型或模型集成但原理是共通的。# 文件路径models/teacher.py import torch.nn as nn class TeacherModel(nn.Module): def __init__(self, input_dim16, hidden_dim128, num_classes2): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Dropout(0.1), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, num_classes), ) def forward(self, x): return self.net(x)# 文件路径models/student.py import torch.nn as nn class StudentModel(nn.Module): def __init__(self, input_dim16, hidden_dim16, num_classes2): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, num_classes), ) def forward(self, x): return self.net(x)这里教师模型的隐藏维度是 128学生模型是 16容量差异明显符合“大教师、小学生”的典型设置。4.4 实现蒸馏训练逻辑蒸馏训练是 PROOF-Gen 的基础。我们需要计算两类损失蒸馏损失和硬标签损失。# 文件路径models/distiller.py import torch import torch.nn as nn import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, hard_labels, T3.0, alpha0.7): 知识蒸馏损失 - student_logits: 学生模型输出 (batch, num_classes) - teacher_logits: 教师模型输出 (batch, num_classes) - hard_labels: 真实标签 (batch,) - T: 温度参数 - alpha: 蒸馏损失占比 # 蒸馏损失在温度 T 下计算 KL 散度 student_soft F.log_softmax(student_logits / T, dim1) teacher_soft F.softmax(teacher_logits / T, dim1) distill_loss F.kl_div(student_soft, teacher_soft, reductionbatchmean) * (T * T) # 硬标签损失标准交叉熵 hard_loss F.cross_entropy(student_logits, hard_labels) # 加权合并 total_loss alpha * distill_loss (1 - alpha) * hard_loss return total_loss, distill_loss, hard_loss def train_one_epoch(model, dataloader, optimizer, devicecpu): model.train() total_loss 0.0 for batch in dataloader: x, y, teacher_logits [item.to(device) for item in batch] optimizer.zero_grad() student_logits model(x) loss, _, _ distillation_loss(student_logits, teacher_logits, y) loss.backward() optimizer.step() total_loss loss.item() * x.size(0) return total_loss / len(dataloader.dataset) def evaluate(model, dataloader, devicecpu): model.eval() correct 0 total 0 with torch.no_grad(): for batch in dataloader: x, y batch[0].to(device), batch[1].to(device) logits model(x) preds logits.argmax(dim1) correct (preds y).sum().item() total y.size(0) return correct / total这里有一个关键细节F.kl_div的第一个参数要求是对数概率因此我们对学生输出使用log_softmax教师输出使用普通softmax然后乘上T * T恢复梯度尺度。4.5 训练教师模型并生成软标签接下来先训练教师模型然后在训练集和测试集上保存教师模型的 logits作为后续蒸馏的软标签来源。# 文件路径train_teacher.py import torch import torch.nn as nn from torch.utils.data import DataLoader from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.teacher import TeacherModel def train_teacher(): # 数据准备 X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) train_dataset DistillDataset(X_train, y_train) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) # 模型与优化器 device cuda if torch.cuda.is_available() else cpu model TeacherModel().to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() # 训练 10 个 epoch for epoch in range(10): model.train() total_loss 0.0 for x_batch, y_batch in train_loader: x_batch, y_batch x_batch.to(device), y_batch.to(device) optimizer.zero_grad() logits model(x_batch) loss criterion(logits, y_batch) loss.backward() optimizer.step() total_loss loss.item() * x_batch.size(0) avg_loss total_loss / len(train_loader.dataset) print(fEpoch {epoch1}, Loss: {avg_loss:.4f}) # 保存模型 torch.save(model.state_dict(), models/teacher.pth) print(教师模型已保存到 models/teacher.pth) # 为训练集和测试集生成教师 logits full_train_dataset DistillDataset(X_train, y_train) full_test_dataset DistillDataset(X_test, y_test) train_loader_full DataLoader(full_train_dataset, batch_size256, shuffleFalse) test_loader_full DataLoader(full_test_dataset, batch_size256, shuffleFalse) model.eval() train_logits [] with torch.no_grad(): for x_batch, _ in train_loader_full: x_batch x_batch.to(device) train_logits.append(model(x_batch).cpu()) train_logits torch.cat(train_logits, dim0).numpy() test_logits [] with torch.no_grad(): for x_batch, _ in test_loader_full: x_batch x_batch.to(device) test_logits.append(model(x_batch).cpu()) test_logits torch.cat(test_logits, dim0).numpy() np.save(data/raw/train_teacher_logits.npy, train_logits) np.save(data/raw/test_teacher_logits.npy, test_logits) print(教师软标签已保存) if __name__ __main__: import numpy as np train_teacher()4.6 标准蒸馏基线为了验证 PROOF-Gen 的效果我们需要先跑一个标准蒸馏基线学生模型只使用原始训练数据和教师软标签进行训练。# 文件路径train_baseline.py import numpy as np import torch from torch.utils.data import DataLoader from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.student import StudentModel from models.distiller import train_one_epoch, evaluate X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) teacher_train_logits np.load(data/raw/train_teacher_logits.npy) teacher_test_logits np.load(data/raw/test_teacher_logits.npy) train_dataset DistillDataset(X_train, y_train, teacher_train_logits) test_dataset DistillDataset(X_test, y_test, teacher_test_logits) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) device cuda if torch.cuda.is_available() else cpu student StudentModel().to(device) optimizer torch.optim.Adam(student.parameters(), lr1e-3) for epoch in range(20): avg_loss train_one_epoch(student, train_loader, optimizer, device) acc evaluate(student, test_loader, device) print(fEpoch {epoch1}, Loss: {avg_loss:.4f}, Test Acc: {acc:.4f}) # 保存基线模型 torch.save(student.state_dict(), models/student_baseline.pth)运行后观察测试准确率这个结果将作为优化数据增强效果的对照基准。4.7 定位学生模型的薄弱区域接下来是 PROOF-Gen 的“关键动作”分析基线学生模型在哪些样本上犯错、哪些样本上预测置信度偏低进而圈定需要生成优化数据的区域。# 文件路径utils/weakness_analysis.py import numpy as np import torch from torch.utils.data import DataLoader from utils.dataset import DistillDataset def analyze_weakness(model, dataset, devicecpu): 返回样本的错误标记、预测类别、置信度、logits loader DataLoader(dataset, batch_size256, shuffleFalse) model.eval() all_preds [] all_conf [] all_logits [] all_labels [] with torch.no_grad(): for batch in loader: x, y batch[0].to(device), batch[1].to(device) logits model(x) probs torch.softmax(logits, dim1) preds logits.argmax(dim1) conf, _ probs.max(dim1) all_preds.append(preds.cpu().numpy()) all_conf.append(conf.cpu().numpy()) all_logits.append(logits.cpu().numpy()) all_labels.append(y.numpy()) preds np.concatenate(all_preds) conf np.concatenate(all_conf) logits np.concatenate(all_logits) labels np.concatenate(all_labels) wrong_mask preds ! labels low_conf_mask conf 0.6 # 置信度阈值可以根据业务调整 return wrong_mask, low_conf_mask, logits, labels“薄弱区域”的判定方式可以有多种预测错误的样本。置信度低于阈值的样本。与错误样本特征距离较近的未标注样本。教师模型与学生模型预测分歧较大的样本。在示例中我们以“预测错误 低置信度”作为薄弱样本的筛选条件。4.8 PROOF-Gen 生成优化数据生成优化数据的策略不是唯一的。下面是几种工程上常用的思路4.8.1 特征空间插值法Mixup 风格对两个同类样本的特征做加权插值标签也按相同权重插值。如果其中一个样本是薄弱样本插值后可以产生更多“边界附近”的训练数据。# 文件路径utils/augmentation.py import numpy as np def mixup_augment(X, y, weak_indices, alpha0.4, n_generate1000, random_state42): 基于薄弱样本在同类样本间进行特征插值 X: 原始特征 y: 原始标签 weak_indices: 薄弱样本下标 n_generate: 需要生成的新样本数量 rng np.random.RandomState(random_state) n_samples, n_features X.shape # 收集每个类别的样本下标 class_indices {0: np.where(y 0)[0], 1: np.where(y 1)[0]} new_X [] new_y [] for _ in range(n_generate): # 随机选一个薄弱样本 idx rng.choice(weak_indices) label y[idx] # 从同类样本中随机选另一个样本 candidates class_indices[label] other_idx rng.choice(candidates) # 插值系数 lam rng.beta(alpha, alpha) new_x lam * X[idx] (1 - lam) * X[other_idx] new_X.append(new_x) new_y.append(label) return np.array(new_X), np.array(new_y)4.8.2 条件噪声扰动法往薄弱样本的特征中注入适量高斯噪声模拟特征波动这样可以增强模型对特征扰动的鲁棒性。def noise_augment(X, y, weak_indices, noise_scale0.05, n_generate1000, random_state42): rng np.random.RandomState(random_state) new_X [] new_y [] for _ in range(n_generate): idx rng.choice(weak_indices) noise rng.normal(0, noise_scale, sizeX.shape[1]) new_x X[idx] noise new_X.append(new_x) new_y.append(y[idx]) return np.array(new_X), np.array(new_y)4.8.3 教师模型分歧导向生成这是一种更贴合蒸馏的生成方式找出“教师模型预测正确而学生模型预测错误”的样本在这些样本附近生成数据。生成的新样本会同时保留教师模型的高置信度软标签天然适合蒸馏训练。def teacher_student_disagreement(X, y, teacher_logits, preds, labels): 返回教师与学生预测不一致的样本下标 这里定义教师预测正确argmax(teacher_logits)label且学生预测错误preds!label的样本 teacher_preds np.argmax(teacher_logits, axis1) mask (teacher_preds labels) (preds ! labels) return np.where(mask)[0]4.9 完整 PROOF-Gen 训练脚本下面把上述模块整合成一个完整的 PROOF-Gen 训练脚本。这里以“Mixup 插值 条件噪声扰动”两种方式生成优化数据再交由教师模型打软标签最后合并原始数据训练学生模型。# 文件路径train_prooff_gen.py import numpy as np import torch from torch.utils.data import DataLoader, ConcatDataset from sklearn.model_selection import train_test_split from utils.dataset import generate_raw_data, DistillDataset from models.teacher import TeacherModel from models.student import StudentModel from models.distiller import train_one_epoch, evaluate from utils.weakness_analysis import analyze_weakness from utils.augmentation import mixup_augment, noise_augment def main(): # 1. 准备原始数据 X, y generate_raw_data() X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 2. 加载教师模型并为训练集/测试集生成 logits device cuda if torch.cuda.is_available() else cpu teacher TeacherModel().to(device) teacher.load_state_dict(torch.load(models/teacher.pth, map_locationdevice)) teacher_train_logits np.load(data/raw/train_teacher_logits.npy) teacher_test_logits np.load(data/raw/test_teacher_logits.npy) # 3. 训练基线学生模型标准蒸馏 train_dataset DistillDataset(X_train, y_train, teacher_train_logits) test_dataset DistillDataset(X_test, y_test, teacher_test_logits) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) student StudentModel().to(device) optimizer torch.optim.Adam(student.parameters(), lr1e-3) for epoch in range(10): avg_loss train_one_epoch(student, train_loader, optimizer, device) baseline_acc evaluate(student, test_loader, device) print(fBaseline Student Test Acc: {baseline_acc:.4f}) # 4. 分析薄弱区域 train_dataset_no_logits DistillDataset(X_train, y_train) wrong_mask, low_conf_mask, _, _ analyze_weakness(student, train_dataset_no_logits, device) weak_indices np.where(wrong_mask | low_conf_mask)[0] print(f薄弱样本数量: {len(weak_indices)} / {len(X_train)}) # 5. 生成优化数据 X_mix, y_mix mixup_augment(X_train, y_train, weak_indices, n_generate500) X_noise, y_noise noise_augment(X_train, y_train, weak_indices, n_generate500) X_aug np.vstack([X_mix, X_noise]) y_aug np.hstack([y_mix, y_noise]) print(f生成优化数据数量: {len(X_aug)}) # 6. 教师模型为优化数据打软标签 teacher.eval() aug_logits [] with torch.no_grad(): for i in range(0, len(X_aug), 256): x_batch torch.tensor(X_aug[i:i256], dtypetorch.float32).to(device) aug_logits.append(teacher(x_batch).cpu().numpy()) aug_logits np.concatenate(aug_logits, axis0) # 7. 合并数据重新训练学生模型 aug_dataset DistillDataset(X_aug, y_aug, aug_logits) combined_dataset ConcatDataset([train_dataset, aug_dataset]) combined_loader DataLoader(combined_dataset, batch_size64, shuffleTrue) student_final StudentModel().to(device) optimizer_final torch.optim.Adam(student_final.parameters(), lr1e-3) for epoch in range(10): avg_loss train_one_epoch(student_final, combined_loader, optimizer_final, device) final_acc evaluate(student_final, test_loader, device) print(fPROOF-Gen Student Test Acc: {final_acc:.4f}) # 8. 保存最终模型 torch.save(student_final.state_dict(), models/student_prooff_gen.pth) if __name__ __main__: main()4.10 运行与结果说明按顺序运行脚本python train_teacher.py python train_baseline.py python train_prooff_gen.py预期输出大致是Baseline Student Test Acc: 0.86xx 薄弱样本数量: 5xx / 4000 生成优化数据数量: 1000 PROOF-Gen Student Test Acc: 0.88xx由于数据是随机生成的每次运行结果会有波动但整体趋势是加入 PROOF-Gen 优化数据后学生模型在测试集上的准确率会高于标准蒸馏基线。在真实业务数据上如果原始数据本身存在明显的不平衡、噪声或覆盖不足这种提升往往更为明显。4.11 在 SEM 数据科学工作流中的应用前面提到“从点击归因到预算优化的闭环实践”这实际上是一个典型的 SEM搜索引擎营销数据科学项目。大致链路如下点击日志 - 点击归因 - 特征工程 - 转化率预估模型 - 预算分配决策在这个链路里知识蒸馏可以应用在转化率预估模型上。大型教师模型可以综合大量用户行为序列和广告特征进行精细预估但线上推理时延敏感必须部署一个小模型。此时使用 PROOF-Gen 的思路从点击归因结果中提取训练样本。训练一个复杂教师模型学习高维特征交互。训练一个轻量学生模型作为线上预估模型。分析学生模型在“高转化率/低点击率”等边界样本上的薄弱表现。在这些边界区域生成优化数据对广告特征做插值、对用户特征做噪声扰动或者构造“相似广告”样本来补充稀缺区域。重新蒸馏提升小模型在关键决策区域的精度。这样做直接影响的不是整体准确率而是预算分配的质量。因为预算优化依赖的是每个广告组的转化率排序如果小模型在边界样本上犯错可能导致预算错配ROI 下降。因此优化数据不必追求整体样本均匀分布而应重点补充“预算决策边界附近”的数据。这正是 PROOF-Gen 的核心工程价值数据生成不再是无差别增强而是围绕模型弱点与业务关键区域进行定点优化。5. 常见问题与排查思路在实际运行 PROOF-Gen 流程时读者可能会遇到下面这些典型问题。这里整理成表格方便快速定位。问题现象常见原因解决思路教师模型与分类数据标签维度不匹配num_classes设置错误检查模型输出维度是否与标签最大值1一致蒸馏损失不下降温度 T 过大或过小尝试 T1、3、5、10观察验证集效果alpha 过大导致硬标签信息丢失蒸馏损失占比太高将 alpha 从 0.7 调低到 0.5 或 0.3优化数据生成后模型没有提升薄弱区域定位不准确检查 weak_indices 是否过少尝试调整置信度阈值生成数据量过大导致训练变慢扩增比例过高控制生成数量为原始数据的 10%~30%特征插值产生越界样本Mixup 在非同类样本间插值确保只在同类样本间做插值或使用标签平滑教师模型软标签置信度集中在 0.9温度 T1 时分布过于尖锐适当增大 T软化分布线上效果与离线评估不一致训练分布与线上分布有差异在优化数据中加入线上特征分布统计使用对抗验证5.1 蒸馏损失为 NaN 怎么办这种情况通常是 logits 中出现极端值导致 Softmax 结果溢出。检查方法print(torch.isnan(student_logits).sum()) print(torch.isinf(student_logits).sum())解决方案降低学习率。对 logits 做裁剪logits torch.clamp(logits, min-10, max10)。检查特征中是否存在 NaN 或极大异常值。5.2 为什么优化数据在某些任务上没有带来提升PROOF-Gen 并不是万能药它的前提是教师模型已经学得足够好而学生模型的不足确实源于数据覆盖问题。如果教师模型本身不够强或者学生模型容量严重不足那么再多的优化数据也无法解决问题。此时应该先检查教师模型在验证集上的表现是否显著优于学生模型。学生模型在“薄弱样本”上是否有足够的表示能力。生成的数据是否真的覆盖了决策边界。6. 最佳实践与工程建议6.1 定义清晰的“薄弱区域”指标不要笼统地使用“准确率低”作为唯一的薄弱区域标准。在分类任务中可以组合多个指标错误预测样本。预测置信度低于阈值的样本。教师与学生预测分歧大的样本。业务侧定义的“高价值样本”比如 SEM 预算分配中的高转化率广告组。建议将薄弱样本的标签、特征、教师预测、学生预测、置信度完整落表方便后续分析和追溯。6.2 控制优化数据的规模与质量优化数据不是越多越好。过多的合成样本会稀释原始数据分布甚至引入噪声。工程上建议初始阶段控制生成数量在原始训练集的 10% 到 30%。每个 epoch 结束时验证学生模型在固定验证集上的表现不要只看训练损失。新生成的数据可以视为“候选集”通过模型训练后的效果反馈决定是否纳入下一轮。6.3 多轮迭代逐步逼近PROOF-Gen 不是一个一次性的数据增强步骤而是一个迭代闭环。推荐做多轮迭代第一轮标准蒸馏得到基线。第二轮基于第一轮学生模型的薄弱区域生成数据再次蒸馏。第三轮基于第二轮学生模型的薄弱区域继续生成数据。每一轮生成的样本都应该由教师模型重新打软标签保证软标签质量。Round 1: Distill(student_1, teacher, D_original) - analyze(weakness_1) Round 2: Distill(student_2, teacher, D_original D_gen_1) - analyze(weakness_2) Round 3: Distill(student_3, teacher, D_original D_gen_1 D_gen_2)6.4 数据生成策略要与业务匹配不同的业务场景适用的数据生成策略不同图像任务可以使用裁剪、旋转、色彩抖动、CutMix。文本任务可以使用回译、同义词替换、对抗样本生成。广告点击率预估可以使用特征插值、SMOTE、基于生成模型的样本合成。时序预测可以使用滑动窗口重采样、周期扰动。PROOF-Gen 的核心框架并不限定具体的生成算法读者完全可以替换为自己业务中适合的生成方法。6.5 维护数据版本与模型版本在实际工程中优化数据会不断迭代如果没有版本管理很容易出现“模型效果回退但找不到是数据还是模型变化导致”的问题。建议每一轮生成的数据单独存储记录生成策略、参数和日期。使用 DVC 或简单的时间戳目录管理数据版本。在训练日志中记录数据版本 ID、代码版本、超参数保证可复现。6.6 关注安全与隐私边界如果原始数据涉及用户隐私或业务敏感信息数据生成时必须格外注意不得基于用户敏感属性生成可反推真实用户身份的数据。合成数据同样需要脱敏处理尤其是文本和图像生成场景。对生成数据做差分隐私扰动或者避免使用真实 ID 作为特征。所有实验必须在公司合规的数据安全规范下进行不把内部数据外传。6.7 在知识蒸馏之外扩展思路PROOF-Gen 的核心方法论“定位薄弱区域 - 定向生成数据 - 重新训练”不仅适用于知识蒸馏也可以迁移到其他训练范式主动学习选择模型最不确定的样本交给人工标注而不是随机采样。课程学习先训练简单样本再逐步加入困难样本。对抗训练在模型薄弱区域生成对抗样本提升鲁棒性。理解这一点后读者可以把 PROOF-Gen 看成一套通用的“数据-模型协同优化”思路而不仅仅是蒸馏的附属工具。7. 后续学习与实践建议本文从知识蒸馏的基本原理出发逐步拆解了 PROOF-Gen 方法的实现流程并给出了完整可运行的示例代码。读完并跑通示例后以下几点值得继续深入第一深入研究蒸馏损失函数的变体。除了 KL 散度还有基于特征匹配的蒸馏如 FitNets、基于注意力图的蒸馏如 AT、基于关系的蒸馏如 RKD。不同的蒸馏方式对数据质量的要求不同PROOF-Gen 的数据生成策略也需要相应调整。第二尝试更强的数据生成模型。当前示例使用的是特征插值和噪声扰动在复杂高维数据上可以考虑训练一个条件生成模型如 VAE、GAN生成与薄弱区域同分布的新样本。这会让 PROOF-Gen 的上限更高但也对工程实现提出了更高要求。第三把 PROOF-Gen 纳入数据科学工作流。前面提到的 SEM 场景只是其中一个例子类似的闭环还存在于推荐系统、风控模型、自然语言处理等领域。关键是建立起“模型评估 - 薄弱定位 - 数据优化 - 重新训练”的工程闭环让数据和模型形成持续进化的双引擎。如果你打算在自己的项目中落地 PROOF-Gen建议从一个小规模数据集开始先复现标准蒸馏基线再逐步加入优化数据记录每一个阶段的效果变化。当你看到模型在薄弱区域上的表现逐步改善时就会理解为什么说“优化数据”和“知识蒸馏”是一对值得深度结合的技术组合。
![2026学术工具专业测评｜Paperxie全维度性能实测报告[特殊字符]](http://pic.xiahunao.cn/yaotu/2026学术工具专业测评｜Paperxie全维度性能实测报告[特殊字符])
![凭什么稳居论文工具顶流[特殊字符]Paperxie综合实力深度全解析](http://pic.xiahunao.cn/yaotu/凭什么稳居论文工具顶流[特殊字符]Paperxie综合实力深度全解析)
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
