不平衡数据处理：过采样/欠采样/损失函数调优-北京尧图网络

不平衡数据处理过采样/欠采样/损失函数调优1. 不平衡数据问题不平衡数据场景 ├── 欺诈检测欺诈 0.1% vs 正常 99.9% ├── 疾病诊断患病 1% vs 健康 99% ├── 缺陷检测缺陷 2% vs 正常 98% └── 异常检测异常 0.5% vs 正常 99.5% 问题 ├── 模型偏向多数类 ├── 少数类召回率极低 └── 准确率虚高全预测多数类也有 99%2. 过采样方法fromimblearn.over_samplingimportSMOTE,ADASYN,RandomOverSampler# SMOTE最常用smoteSMOTE(sampling_strategy0.5,random_state42)X_res,y_ressmote.fit_resample(X_train,y_train)# ADASYN自适应合成adasynADASYN(sampling_strategy0.5,random_state42)X_res,y_resadasyn.fit_resample(X_train,y_train)# 随机过采样rosRandomOverSampler(sampling_strategy0.5,random_state42)X_res,y_resros.fit_resample(X_train,y_train)3. 欠采样方法fromimblearn.under_samplingimport(RandomUnderSampler,TomekLinks,EditedNearestNeighbours)# 随机欠采样rusRandomUnderSampler(sampling_strategy0.5,random_state42)X_res,y_resrus.fit_resample(X_train,y_train)# Tomek Links清理边界tomekTomekLinks()X_res,y_restomek.fit_resample(X_train,y_train)# 组合方法fromimblearn.combineimportSMOTETomek smtSMOTETomek(random_state42)X_res,y_ressmt.fit_resample(X_train,y_train)4. 类别权重调优fromsklearn.utils.class_weightimportcompute_class_weightimportnumpyasnp# 计算类别权重classesnp.unique(y_train)weightscompute_class_weight(balanced,classesclasses,yy_train)class_weight_dictdict(zip(classes,weights))# 使用类别权重fromsklearn.ensembleimportRandomForestClassifier rfRandomForestClassifier(class_weightbalanced,random_state42)rf.fit(X_train,y_train)# XGBoostimportxgboostasxgb scale_pos_weightlen(y_train[y_train0])/len(y_train[y_train1])xgb_clfxgb.XGBClassifier(scale_pos_weightscale_pos_weight)5. Focal Lossimporttorchimporttorch.nnasnnclassFocalLoss(nn.Module):def__init__(self,alpha0.25,gamma2.0):super().__init__()self.alphaalpha self.gammagammadefforward(self,inputs,targets):BCE_lossnn.functional.binary_cross_entropy_with_logits(inputs,targets,reductionnone)pttorch.exp(-BCE_loss)focal_lossself.alpha*(1-pt)**self.gamma*BCE_lossreturnfocal_loss.mean()# 使用criterionFocalLoss(alpha0.25,gamma2.0)losscriterion(outputs,targets)总结方法适用场景优势SMOTE中度不平衡增加多样性欠采样数据量大加速训练类别权重任何场景简单有效Focal Loss极端不平衡聚焦难分类

不平衡数据处理：过采样/欠采样/损失函数调优

相关推荐

正式批VS补录批：软件测试秋招三阶段，哪个阶段上岸最容易？

2026 年最热门的 8 个 SERP API

Display Driver Uninstaller：彻底解决显卡驱动冲突的专业指南

更多资讯

ToolJet REST API 查询传参实战：Raw JSON 与键值对两种动态值传递方式

标定板自动化程度对科研测量精度的影响：误差溯源与实测分析

大模型备案全流程实操指南：从准备材料到过线指标

小语种多模态翻译实战：语音+图像+上下文联合解析

从窄带到宽带：老旧工业数传电台升级Orbit LN的实测分析

WeChatMsg 教程：3步如何完整导出微信聊天记录，顺手生成年度聊天报告

今日更新

Linux 内核 ARM 虚拟内存布局全解析：从 4GB 地址空间划分到源码级验证

AIGC降重工具测评与教育应用指南

数据容灾核心指标与实战方案解析

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？