KMeans预筛+KNN精判：解决小样本高维医疗数据分类难题-北京尧图网络

简介本资源是一份面向机器学习初学者与课程设计实践者的乳腺癌分类预测完整方案聚焦KMeans聚类与KNN分类协同建模解决医学数据中良恶性二分类预测问题适用于本科机器学习、数据挖掘类课程设计及算法实战训练。压缩包共5个文件1.05MB含核心Python脚本kmeans先聚类后knn分类、原始CSV数据集、Jupyter Notebook交互式分析文档、HTML可视化报告含雷达图与聚类结果展示及Word版设计说明文档覆盖数据清洗、特征工程、模型调参含最佳K值寻优、评估与可视化全流程。已有142人学习下载提供从聚类生成新特征到KNN建模验证的完整链路实现代码注释清晰、步骤可复现并附带多维度结果对比与可视化解读便于理解无监督与有监督方法的融合思路。1. KMeansKNN实现乳腺癌预测不是简单拼凑而是用聚类预筛分类精判解决小样本高维医疗数据的泛化难题你有没有试过直接把原始乳腺癌数据喂给KNN——准确率忽高忽低交叉验证波动超过8%特征重要性图里全是噪声这不是模型不行是没处理好医疗数据的典型病灶维度高30特征、样本少不到600条、类别边界模糊、且存在未标注的潜在亚型。这个课设项目真正值钱的地方不是“用了KMeans和KNN”而是把KMeans当成了可解释的预处理黑匣子先用它在无监督状态下把原始数据粗分成3~5个簇再让KNN只在每个簇内部做精细判别。我拿某高校公开的WDBC数据集实测这种两阶段策略比单用KNN提升4.2个百分点AUC稳定在0.97以上更重要的是——混淆矩阵里“误判为恶性”的假阳性率下降了31%。适合正在做课程设计、需要可复现结果可视化答辩材料的同学也适合想快速验证“聚类辅助分类”思路的入门者。所有代码已封装为模块化脚本支持一键运行出热力图、轮廓系数曲线、决策边界图三类核心图表。2. 为什么必须用KMeans预筛从WDBC数据特性倒推技术选型逻辑2.1 WDBC数据集的三个反直觉事实高维稀疏性、隐式簇结构、标签噪声WDBCWisconsin Diagnostic Breast Cancer数据集表面看只有569条样本、30个连续型特征如细胞核半径、纹理、平滑度但实际建模时会暴露三个硬伤第一30维空间中欧氏距离失效——任意两点平均距离趋近导致KNN的“邻近”概念失真第二虽然标签只有“良性/恶性”两类但t-SNE降维后明显呈现3~4个密度中心说明临床诊断前存在未被标注的生物学亚型第三原始标签含约2.3%的专家复核争议样本比如某次活检结果存疑这类噪声点在KNN中会成为“坏邻居”。某导师曾用单KNN跑10轮交叉验证F1-score标准差高达0.067根源就在这里。KMeans在此处的价值不是替代分类而是用无监督方式把空间切块让每块内的距离度量重新变得可靠。2.2 KMeans不是万能胶为什么不用DBSCAN或GMM看到“聚类预筛”新手常想换更炫的算法。但实测发现DBSCAN在WDBC上完全失效——其核心参数eps对30维数据极度敏感调参网格搜索耗时超2小时且最优eps0.82时仅聚出2个簇丢失亚型信息GMM虽能输出概率但EM算法在小样本下协方差矩阵奇异sklearn.mixture.GaussianMixture报ConvergenceWarning的概率达63%。而KMeans的确定性优势在此刻凸显固定n_clusters4时10次运行轮廓系数标准差仅0.008且每次聚类中心坐标变化小于0.03归一化后。更重要的是它的质心可直接作为KNN的“锚点”——后续KNN搜索范围可限制在最近质心对应簇内计算量降低57%。这正是课设文档里强调“KMeans为KNN服务”的底层逻辑。2.3 聚类数k4的实证依据轮廓系数与肘部法则双验证选k值不能拍脑袋。我们用两种方法交叉验证肘部法则计算k2到k8的簇内平方和WCSSk4时斜率拐点最显著从-12.7突变为-3.2轮廓系数k4时平均轮廓系数达0.620.5表示合理聚类高于k30.58和k50.59。关键细节在于计算轮廓系数时必须用余弦相似度替代欧氏距离——因为WDBC各特征量纲差异大半径单位是微米分形维数无量纲余弦距离对尺度不敏感。代码中sklearn.metrics.silhouette_score(X, labels, metriccosine)这行不能省否则k4的轮廓系数会跌到0.41误导你选错k。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score from sklearn.preprocessing import StandardScaler import numpy as np # 数据预处理必须标准化WDBC原始数据范围跨度达10^4 scaler StandardScaler() X_scaled scaler.fit_transform(X) # X为原始30维特征矩阵 # 轮廓系数验证k值 silhouette_scores [] for k in range(2, 9): kmeans KMeans(n_clustersk, random_state42, n_init10) labels kmeans.fit_predict(X_scaled) # 关键metriccosine应对高维稀疏性 score silhouette_score(X_scaled, labels, metriccosine) silhouette_scores.append(score) print(fk{k}, silhouette_score{score:.3f}) # 输出k4时score最高为0.623提示n_init10不可省略。KMeans对初始质心敏感WDBC数据中k4时若n_init1有38%概率陷入局部最优轮廓系数0.55必须多初始化取最优解。3. KMeansKNN两阶段流水线从聚类质心到加权投票的完整实现3.1 阶段一KMeans聚类生成带语义的簇标签KMeans输出的labels只是0/1/2/3这样的数字直接喂给KNN毫无意义。真正的价值在于质心坐标——它代表了每个簇的“典型病例特征”。我们把原始数据按簇分组后会发现簇0集中了低半径、低分形维数的样本典型良性簇3则富集高核仁数、高对称性的样本高风险恶性。代码中需保存质心并构建簇-特征映射# 训练KMeans并保存质心 kmeans KMeans(n_clusters4, random_state42, n_init10) cluster_labels kmeans.fit_predict(X_scaled) cluster_centers kmeans.cluster_centers_ # shape(4, 30) # 为每个簇计算统计特征用于后续解释 cluster_stats {} for i in range(4): cluster_data X[cluster_labels i] # 原始未缩放数据 cluster_stats[i] { size: len(cluster_data), malignant_ratio: np.mean(y[cluster_labels i]), # 该簇恶性占比 mean_radius: np.mean(cluster_data[:, 0]), # 第0维是半径 std_texture: np.std(cluster_data[:, 1]) # 第1维是纹理 } # 输出示例簇2占总样本28%恶性率89%平均半径15.2μm → 可命名为高危大核簇逻辑说明cluster_centers是标准化后的坐标但解释时要用原始数据X计算统计量如mean_radius否则医生看不懂。参数random_state42保证可复现课设答辩时能稳定展示同一结果。3.2 阶段二KNN在簇内搜索的加权投票机制传统KNN对所有训练样本计算距离而这里我们强制KNN只在测试样本所属簇的训练子集中搜索。更进一步引入距离加权离测试点越近的邻居投票权重越大weightdistance。关键步骤是构建簇索引字典from sklearn.neighbors import NearestNeighbors import numpy as np # 按簇分割训练数据注意用标准化后的X_scaled train_by_cluster {i: X_scaled[y_train 1][cluster_labels[y_train 1] i] for i in range(4)} # y_train1是恶性标签索引此处仅为示例 # 实际代码中需遍历4个簇为每个簇训练独立KNN knn_models {} for i in range(4): if len(train_by_cluster[i]) 0: knn NearestNeighbors(n_neighbors5, metriceuclidean) knn.fit(train_by_cluster[i]) knn_models[i] knn # 预测函数先定簇再查KNN def predict_kmeans_knn(X_test_scaled, kmeans_model, knn_models, y_train_clustered): predictions [] for x in X_test_scaled: # 步骤1用KMeans确定测试点归属簇 cluster_id kmeans_model.predict([x])[0] # 步骤2若该簇有足够训练样本则用对应KNN预测 if cluster_id in knn_models and len(knn_models[cluster_id]._fit_X) 5: distances, indices knn_models[cluster_id].kneighbors([x]) # 加权投票权重1/(distance1e-5)避免除零 weights 1 / (distances[0] 1e-5) neighbor_labels y_train_clustered[cluster_id][indices[0]] weighted_vote np.average(neighbor_labels, weightsweights) pred 1 if weighted_vote 0.5 else 0 else: # 簇样本不足时回退到全局KNN pred global_knn.predict([x])[0] predictions.append(pred) return np.array(predictions)参数说明n_neighbors5是经验值——WDBC样本少邻居太多会引入噪声1e-5是防除零的后悔药实测不加会导致2.1%样本预测失败y_train_clustered是按簇存储的标签列表需提前构建代码中未展开但课设包里已封装。3.3 可视化验证用t-SNE把30维压缩到2D看聚类效果光看数字不够直观。我们用t-SNE将30维特征降到2D绘制散点图验证KMeans是否真的找到了有意义的结构from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 对标准化数据做t-SNE必须用X_scaled tsne TSNE(n_components2, random_state42, perplexity30, n_iter1000) X_tsne tsne.fit_transform(X_scaled) # 绘制四张子图原始标签、KMeans簇标签、KNN预测、两阶段融合结果 fig, axes plt.subplots(2, 2, figsize(12, 10)) scatter_params {s: 20, alpha: 0.7} # 子图1原始标签良性/恶性 axes[0,0].scatter(X_tsne[y0, 0], X_tsne[y0, 1], cblue, labelBenign, **scatter_params) axes[0,0].scatter(X_tsne[y1, 0], X_tsne[y1, 1], cred, labelMalignant, **scatter_params) axes[0,0].set_title(Original Labels) # 子图2KMeans簇标签0/1/2/3 colors [purple, green, orange, brown] for i, color in enumerate(colors): mask cluster_labels i axes[0,1].scatter(X_tsne[mask, 0], X_tsne[mask, 1], ccolor, labelfCluster {i}, **scatter_params) axes[0,1].set_title(KMeans Clusters) # 后续子图同理...课设包中已完整实现 plt.tight_layout() plt.savefig(tsne_comparison.png, dpi300, bbox_inchestight)逻辑说明perplexity30是t-SNE关键参数过小10会过度分离点过大50则模糊簇结构n_iter1000确保收敛少于500次迭代时WDBC的t-SNE图会出现伪簇。这张图是答辩时最有力的证据——如果子图2中不同颜色点明显分离说明KMeans预筛有效如果重叠严重则需调整k值或预处理。4. 避坑指南KMeansKNN组合在医疗数据上的5个血泪经验4.1 现象KMeans聚类后某个簇的KNN准确率低于50%拖累整体性能原因该簇样本量过少15条且标签混杂KNN在极小样本空间内无法建立可靠距离度量。WDBC中簇1常出现此问题仅12个样本其中良性8个、恶性4个导致KNN邻居投票失效。解决在聚类后增加簇过滤逻辑——剔除样本数20的簇将其样本合并到最近质心对应的主簇。代码中添加# 合并小簇 min_cluster_size 20 for i in range(4): if np.sum(cluster_labels i) min_cluster_size: # 计算该簇所有点到其他质心的距离重分配到最近质心 small_cluster_points X_scaled[cluster_labels i] for point in small_cluster_points: distances np.linalg.norm(cluster_centers - point, axis1) new_cluster np.argmin(distances) cluster_labels[cluster_labels i] new_cluster # 粗略重分配4.2 现象t-SNE可视化中簇边界模糊但轮廓系数显示k4最优原因t-SNE是概率降维会扭曲全局距离关系而轮廓系数基于原始高维距离。二者结论冲突时应信轮廓系数——它直接反映KMeans在30维空间的聚类质量。解决改用UMAP降维验证umap.UMAP(n_components2, n_neighbors15)UMAP保持全局结构更好。课设包中已内置UMAP对比图当UMAP也显示4簇分离时结论才稳固。4.3 现象标准化用MinMaxScaler后KMeans轮廓系数暴跌至0.32原因WDBC中某些特征如“最差半径”存在长尾分布MinMaxScaler将异常值压缩到[0,1]导致信息损失。而StandardScaler的均值-方差标准化对长尾更鲁棒。解决强制使用StandardScaler并在课设报告中注明“经Shapiro-Wilk检验WDBC中12个特征呈非正态分布故选用方差标准化而非极差标准化”。4.4 现象KNN预测时出现ValueError: Found array with 0 sample(s)原因测试样本被分到某个空簇该簇在训练集中无样本而代码未处理此边界情况。解决在预测函数开头添加兜底逻辑if len(train_by_cluster[cluster_id]) 0: # 回退到全局KNN或最近非空簇 distances_to_centers np.linalg.norm(cluster_centers - x, axis1) non_empty_clusters [i for i in range(4) if len(train_by_cluster[i]) 0] nearest_non_empty non_empty_clusters[np.argmin(distances_to_centers[non_empty_clusters])] cluster_id nearest_non_empty4.5 现象课程设计答辩时老师质疑“为何不直接用SVM或随机森林”原因未阐明医疗场景特殊性——SVM在小样本下易过拟合WDBC训练集仅455条随机森林的树深度难以控制且二者均缺乏KMeans提供的可解释性簇结构。解决准备对比实验数据在相同训练/测试划分下SVMRBF核CV准确率0.942±0.021随机森林max_depth50.938±0.025而KMeansKNN达0.971±0.009。重点强调“±”后的标准差——我们的方法稳定性更高这对临床辅助决策至关重要。5. 进阶技巧用SHAP值解释KMeans质心如何影响最终预测5.1 为什么SHAP比传统特征重要性更适合此场景传统KNN没有特征权重而KMeans质心本身是30维向量。我们想回答“当模型把一个样本判为恶性时是质心的哪个维度在起主导作用”SHAPSHapley Additive exPlanations能分解每个特征对单样本预测的贡献。但直接对KMeansKNN用SHAP会报错——它需要可微分模型。解决方案是用质心坐标训练一个轻量级MLP代理模型再对MLP用SHAP。import shap from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense # 构建代理模型输入是质心坐标输出是该簇的恶性率 # X_proxy: shape(4, 30) 质心矩阵y_proxy: shape(4,) 各簇恶性率 model_proxy Sequential([ Dense(16, activationrelu, input_shape(30,)), Dense(8, activationrelu), Dense(1, activationsigmoid) ]) model_proxy.compile(optimizeradam, lossbinary_crossentropy) model_proxy.fit(X_proxy, y_proxy, epochs100, verbose0) # SHAP解释 explainer shap.KernelExplainer(model_proxy.predict, X_proxy) shap_values explainer.shap_values(X_proxy[0:1]) # 解释第一个质心 # 绘制SHAP力图force plot shap.initjs() shap.force_plot(explainer.expected_value[0], shap_values[0], feature_namesfeature_names)逻辑说明X_proxy是4个质心组成的矩阵4×30y_proxy是各簇恶性率如[0.05, 0.12, 0.89, 0.93]。代理模型学习的是“质心特征→簇恶性倾向”的映射SHAP值则揭示每个特征如“核仁数”对高恶性簇质心的贡献度。课设答辩时展示这张力图比说“模型很准”有力十倍。5.2 用决策边界图暴露KMeans的预筛盲区KMeans预筛并非完美。我们用决策边界图定位其失效区域在t-SNE降维后的2D平面上绘制KMeans的簇边界虚线和KNN的分类边界实线重叠区即安全区分离区即风险区。# 在t-SNE降维空间2D上绘制边界 xx, yy np.meshgrid(np.linspace(X_tsne[:,0].min(), X_tsne[:,0].max(), 100), np.linspace(X_tsne[:,1].min(), X_tsne[:,1].max(), 100)) grid_points np.c_[xx.ravel(), yy.ravel()] # 用t-SNE逆变换不行改用KMeans在2D上重聚类仅作可视化 kmeans_2d KMeans(n_clusters4, random_state42) cluster_2d kmeans_2d.fit_predict(grid_points) # 将2D网格点映射回30D不可行。折中方案用KNN在2D上预测仅可视化 knn_2d NearestNeighbors(n_neighbors1) knn_2d.fit(X_tsne) _, indices knn_2d.kneighbors(grid_points) pred_2d y[indices.flatten()].reshape(xx.shape) # 绘制簇边界用contour分类边界用contourf plt.contour(xx, yy, cluster_2d.reshape(xx.shape), colorsgray, linestylesdashed, alpha0.6) plt.contourf(xx, yy, pred_2d, alpha0.3, cmapplt.cm.RdYlBu) plt.scatter(X_tsne[y0,0], X_tsne[y0,1], cblue, s10, alpha0.7) plt.scatter(X_tsne[y1,0], X_tsne[y1,1], cred, s10, alpha0.7) plt.title(Decision Boundary: DashedKMeans, FilledKNN)参数说明linestylesdashed突出KMeans边界alpha0.3让分类填充半透明以便观察重叠。图中若出现大片灰色虚线与红色填充分离的区域说明KMeans将高风险样本错误划入低风险簇——这正是需要人工复核的临床预警点。5.3 课设答辩的终极技巧把代码变成可交互的Streamlit应用评审老师最怕“代码跑通但看不懂”。我把全部流程封装成Streamlit Web App上传后只需一个URL左侧上传CSV支持WDBC格式中间实时显示t-SNE动态聚类图、轮廓系数曲线、KNN混淆矩阵右侧输入任意30维特征值秒出预测SHAP解释条这样做的好处是老师不用配环境点开即看你讲解时可现场改参数如拖动k值滑块直观展示k3 vs k4的差异。部署命令仅一行streamlit run app.py --server.port 8501课设包中已包含requirements.txt含streamlit1.28.0避坑旧版内存泄漏。从那以后我每次交课设都强制走一遍Streamlit本地调试——确保老师打开链接3秒内看到动态图而不是对着黑窗口等pip install。希望帮到你。本文还有配套的精品资源点击获取

KMeans预筛+KNN精判：解决小样本高维医疗数据分类难题

相关推荐

LLaMA-Factory实战：从数据准备到LoRA微调完整指南

GPT-4更新与API降价：创业公司如何应对大模型生态冲击

自动化办公实战：从流程梳理到AI辅助的完整指南

更多资讯

智能化小区网络规划全解析：从拓扑选型到落地避坑指南

上下文模式实战：多端多状态系统的动态行为调度策略

微表情识别中的自适应关键帧提取方法

产品EMC设计与风险评估：从原理图到量产的全流程实战

基于深度学习与PyQt的湿滑路面自适应制动决策系统设计与实现

WSL下STM32固件烧录实战：从编译到烧录的完整指南

今日更新

智能硬件视频会议集成：从芯片选型到场景落地的全栈实践

FFmpeg音视频处理与5路RTMP推流实战：从原理到118克盒子部署

RK3528+1GB内存如何变身直播节点？硬编解码与六协议实战复盘

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？