Kaggle房价预测实战：数据预处理、特征工程与高级回归技巧-北京尧图网络

先说结论在Kaggle上做房价预测这个任务是我见过的练“高级回归技巧”性价比最高的方式之一。它不是一个入门玩具而是一个把回归问题里你能遇到的麻烦集中到一起的“实战沙盘”——79个原始特征、一千多条样本、连续目标变量、RMSLE评价指标每一项都在逼你把数据预处理、特征工程、正则化、交叉验证、模型融合这条链路完整走一遍。这篇文章是系列的第一篇我会把这条链路里最关键的部分拆开讲重点放在数据预处理和特征工程上顺便把模型选型和验证策略的骨架搭起来。很多新人跑这个任务上来就是读数据、填缺失值、标准化、直接丢给XGBoost或LightGBM然后看着分数卡在0.15上下不动了。问题不在于模型不够强而在于前面的每一层都做得太“糙”。比如缺失值一律用中位数填、类别特征一律OneHot、连续特征直接丢给树模型——这些做法在别的数据集上或许能混过去但在这个数据集上每一个糙处理都会变成最后的分数损失。这篇文章适合谁看一是已经用sklearn跑通过baseline、想往0.11到0.12这个区间冲的人二是想系统理解“为什么老手总强调特征工程和验证策略”的人。代码片段我会控制得很短重点放在思路和判断依据上方便你拿到自己的代码库里落地。1. 吃透赛题房价预测到底在考什么1.1 79个特征背后藏着一本房地产教科书这个赛题对应的数据集记录了一座美国中等城市在2006到2010年间卖掉的1460套房子的详细信息。每套房子的特征涵盖了地块、结构、装修、地下室、车库、外部设施等几十个维度。任务发布至今已经过去多年但它依然是学习回归建模的首选素材因为它把“回归问题里你能遇到的大部分麻烦”都集中到了一起大量类别型变量、缺失值、偏态分布、异常值、特征之间的强相关性。我第一次接触这套数据时犯过一个错误——把每个特征当成独立的变量一个一个去看它们和房价的相关性。这样做不是不行但会漏掉大量信息。比如地下室总面积和房价的相关性看着一般但如果你把地下室面积与一、二楼面积加起来得到“总使用面积”相关性立刻就不一样了。这套数据的设计逻辑其实很接近真实房地产评估买家对“总面积”的感知比对“某个单独房间面积”的感知更敏锐。所以收到这类数据第一步不是急着写代码而是先做一次业务拆解。我把79个特征大致分成六组地块属性地块面积、地块形状、地块轮廓等、房屋主体结构建造年份、建筑类型、房屋样式等、面积相关地面居住面积、地下室面积、车库面积等、装修与材料外墙材质、墙面材料类型等、设施与状态供暖质量、厨房数量、整体质量评分以及房屋之间的相对位置关系街区、道路条件等。分组的目的是为后面的组合特征找方向——凡是跨组的特征组合往往比组内组合更有信息量。1.2 RMSLE不止是公式它决定了你的每一步操作很多新手会忽略一个事实同一个问题评价指标不同优化方向就完全不同。这个赛题用的是RMSLE不是RMSE公式可以写成RMSLE sqrt(mean((log(1 y_pred) - log(1 y_true))²))两个关键点。第一它是在对数空间计算的。第二log变换天然让大数值的误差权重变小。通俗理解一套10万美元的房子预测成9万和一套50万美元的房子预测成49万绝对误差都是1万但RMSLE对前者的惩罚远大于后者。换句话说RMSLE更“在意”低价房预测准不准。这个指标直接带来三个操作结论训练前要把目标变量做log1p变换让模型在近似正态的空间里学习最终预测时再做expm1还原。这能显著降低RMSLE。后续所有模型的误差评估也应该在log空间做才能和评价指标对齐。融合多个模型的预测时优先在log空间取平均而不是在原始房价空间取平均。这一点非常容易被忽略但影响很大。我在实操中发现很多人的模型在原始空间预测、再在原始空间融合分数怎么调都卡在0.15以上改成log空间处理后直接就掉到0.13以下。指标驱动操作这不是一句空话。2. 数据预处理决定成绩上限的隐形战场2.1 目标变量偏度1.88怎么办log1p变换前后对比在开始特征工程之前我永远先看目标变量的分布。用scipy.stats的skew函数算一下房价的偏度原始数据大概是1.88左右属于明显的右偏分布。右偏意味着大部分房子价格集中在低位少数高价房把均值拉得很高直接拿去做线性回归模型会被那几套高价房带偏。处理方式很成熟对房价做np.log1p变换。选log1p而不是log是因为log1p在x0附近更平滑、数值稳定性更好而且与sklearn里很多工具配套使用更顺手。import numpy as np from scipy.stats import skew train[SalePrice] np.log1p(train[SalePrice]) print(Skewness after log1p: %.4f % train[SalePrice].skew()) # 输出大概在0.12左右偏度从1.88降到0.12这一步对模型分数的提升比很多特征工程都直接。我见过有同学不做这一步直接用原始房价训练Lasso最后交叉验证分数惨不忍睹。原因很简单偏态目标会让残差不满足线性模型的基本假设正则化路径也会被极端值牵制。2.2 缺失值别急着fillna三种缺失语义对应三种处理策略不要看见缺失值就fillna。这套数据里大概有19个特征存在缺失但缺失的含义完全不一样。我把它们分成三类第一类缺失代表“无”。比如泳池质量、小巷类型、围栏类型、壁炉质量——这些房子大概率就是没有泳池、没有小巷、没有围栏、没有壁炉。对这类特征正确的填法是补一个“None”字符串而不是中位数。第二类缺失是“数据采集遗漏”。比如临街宽度缺失了两百多条记录这种情况和地块的形态有关。简单用中位数填能应付更讲究的做法是按街区分组填中位数或者用其他特征做一个小的预测模型来估算缺失值。我实测下来按街区分组填充比全局中位数填充在交叉验证分数上有明确改善。第三类缺失比重特别大。比如泳池质量缺失了1453条总共1460条这类特征基本没有判别能力补一个“None”标记即可不需要花太多力气编码。再分享一个习惯填补缺失值时给每个特征额外记录“是否有缺失”这个布尔标志位作为新特征。因为缺失这件事本身可能是信息——比如某个房子没有记录地下室质量可能说明地下室年代久远或者卖家没有提供完整材料。提示处理缺失值之前先做一次缺失比例统计按缺失原因而不是缺失数量来决定策略顺序不能反。2.3 异常值检测那两个大户型低价房到底删不删这套数据里有两个非常著名的“怪点”两套房子居住面积很大超过4000平方英尺价格却低得离谱。在散点图上这两个点非常扎眼如果不处理线性模型会被它们带偏直接反映在RMSLE上。我处理异常值的流程分三步。第一步可视化筛查画地面居住面积和房价的散点图人工圈出明显偏离主趋势的点这步不能省因为统计方法会漏掉多变量组合下的异常。第二步用IQR或Grubbs检验做定量确认比如对面积特征计算四分位距超过Q3加1.5倍IQR的点视为潜在异常。第三步结合业务判断去留这两套大户型低价房保留下来会让模型为了拟合它们而扭曲整体关系但测试集里大概率不会出现这样的错位样本所以删除是划算的。有一点要注意异常值删除发生在交叉验证之前而不是在交叉验证内部。因为这是一个全局决策你先判断这批样本是异常再用干净数据训练这与特征工程内部的处理逻辑不完全一样。2.4 连续特征要不要做变换取决于你喂给什么模型除了目标变量大量连续特征本身也右偏比如地面居住面积、地块面积、地下室面积。对这些特征可以做log1p或Box-Cox变换但有一个原则对线性模型变换能显著提升效果对树模型变换几乎没影响因为树模型只关心特征的排序和分裂点不关心数值尺度。实操中我的习惯是为线性模型准备一套经过变换和标准化的特征矩阵为树模型准备一套原始数值特征不做标准化也不做太多分布整形。这样能避免在树模型上做无用功也能防止两套模型的特征空间混在一起后后续做融合时解释不清。3. 特征工程从“搬砖”到“炼金”的关键一跃3.1 组合特征是提分发动机总面积和“质量×面积”怎么构造进入特征工程前先说一个原则特征不是越多越好而是每个特征都要能讲出业务逻辑。这套数据的特征字典本身就是一本房地产入门教科书里面每个特征都有明确含义意味着你可以用常识构造有解释力的组合特征。最有名的组合特征是总面积。地下室面积、一楼面积、二楼面积三者相加就是房屋的总使用面积。从业务上说买家看房时对面积的感知是“总共能用的空间有多大”而不是分别记住每一层的面积。所以train[TotalSF] train[TotalBsmtSF] train[1stFlrSF] train[2ndFlrSF]这个特征对模型的重要性往往超过任何一个单独的面积特征。类似的组合还有“质量×面积”用总体质量评分乘以地面居住面积代表“高质量大房子的溢价”车库面积与车库数量的乘积代表车库总体容量。构造组合特征时我建议把每个新特征单独建列、命名清楚然后在模型里观察它的特征重要性。如果新特征排名靠前说明这个方向对了如果排名靠后下次就不在这个方向上继续花钱。3.2 类别特征编码有序、无序、缺失即无三种处理方式这套数据有四十多个类别型特征但性质和编码方式完全不同。我把它细分成三类处理。第一类是有序类别比如外部材料质量从差到优秀分五档、地下室高度质量、厨房质量。对这类特征直接LabelEncoder是不够的——因为LabelEncoder只保证编码不同不保证编码顺序符合真实质量等级。更讲究的做法是手动映射qual_map {Po: 1, Fa: 2, TA: 3, Gd: 4, Ex: 5} for col in [ExterQual, BsmtQual, KitchenQual]: train[col] train[col].map(qual_map)第二类是无序类别比如区域分类、街区、销售类型。这类特征我一般先用OneHotEncoder转稀疏矩阵或者直接用树模型的原生类别支持。值得注意的是街区特征的预测力很强但类别多达25个OneHot之后会膨胀维度对线性模型不友好对树模型则无所谓。第三类是“缺失即无”的类别特征给它补上“None”这个类别然后与其他类别一起编码。这里有一个很常见的误区把所有类别特征一股脑做LabelEncoder交给树模型。对无序类别来说编码数值的大小是任意的树模型虽然能处理但切分点的可解释性变差对有序类别来说LabelEncoder又可能打乱真实顺序。正确做法是有序特征手动映射保序无序特征用OneHot或目标编码。3.3 高基数类别特征用目标编码一个提分技巧和三个必踩的坑街区有25个类别直接OneHot会生成25个稀疏列在线性模型里这种膨胀会带来额外的正则化负担。很多人这时候会想到目标编码用每个类别下目标变量的均值替代原始类别标签。好处很直接把高基数类别压缩成一列连续值并且携带了类别与房价之间的强相关信号。具体操作对街区做目标编码就是把每个街区的平均log房价作为该街区样本的新特征。但这里面有三只拦路虎。第一目标编码本质上是用了目标变量的信息属于有监督特征构造不做交叉验证就是泄漏。正确做法是在每一折的训练集内部计算类别均值映射到验证集测试集则用全量训练集的均值编码。第二类别样本量太小时均值极不稳定。比如某个街区只卖过两三套房子均值可能被一次极端交易带偏。解决办法是加平滑encode (count * mean prior * global_mean) / (count prior)prior是全局均值count是该类别样本量平滑系数自己定。第三测试集和训练集的类别不一致时要给测试集里没见过的新类别准备一个默认值通常是全局均值。我给街区和区域分类做完目标编码后线性模型的交叉验证分数明显改善。但对于树模型OneHot足够不需要目标编码——树模型自己就能利用高基数类别的条件划分。4. 高级回归模型选型线性家族与树模型的“双线作战”4.1 高维小样本下的线性模型Ridge、Lasso、ElasticNet怎么选树模型已经很好用的今天为什么还要专门讲线性模型因为这个数据集的样本量只有1460条特征数量却不少特征之间还有明显共线性。在“高维小样本”的前提下正则化线性模型往往能给出一个非常稳健的基线而且是之后做模型融合时最重要的差异化来源。三个模型用一句话区分。RidgeL2正则擅长处理特征高度相关的情况它把所有特征的权重温和地压向0但不会真的变成0LassoL1正则倾向于把不重要特征的权重直接变成0得到稀疏解ElasticNet则是两者的折中同时加了L1和L2惩罚。用生活化类比Ridge像是让每个员工都少拿一点奖金但谁都不开除Lasso是直接把表现差的员工裁掉ElasticNet先小范围裁员再把剩下人的奖金收敛一下。在房价数据里很多特征彼此相关Lasso会随机地丢掉一些其实有用的特征而Ridge能把它们的贡献平摊下来。所以我的经验是在纯线性模型里Ridge和ElasticNet通常比Lasso稳Lasso更适合你想做特征选择的时候用。正则化系数的选择用LogUniform分布在10^-4到10^2之间取对数均匀的值做随机搜索配合交叉验证评估。ElasticNet多一个l1_ratio参数控制L1和L2的混合比例我一般从0.1、0.3、0.5、0.7、0.9里选。4.2 树模型调参顺序先把关键参数定对再谈网格搜索树模型这边主流选择是XGBoost和LightGBM两者在这套数据上都能跑到不错的分数。我一直强调先把关键参数定对再用早停确定迭代次数不要一上来就网格搜索一大把参数。简单理解learning_rate决定每一步更新的步长n_estimators是树的数量。关键参数速查表参数建议范围说明learning_rate0.01 - 0.050.01偏稳但训练慢0.05配合早停比较平衡max_depth3 - 6超过6容易过拟合subsample0.7 - 0.9每棵树用的样本比例colsample_bytree0.7 - 0.8每棵树用的特征比例reg_alpha / reg_lambda小幅调节给树模型加正则实操顺序是固定一个较低的learning_rate把其他参数设一个相对保守的初始值然后用early_stopping_rounds100来跑n_estimators让模型自己决定树的棵数。等这一轮跑完再集中精力搜max_depth和subsample。需要重点提醒一个坑树模型对这套数据特别容易过拟合。1460条样本、几十个特征如果不限制树的深度训练集分数会非常漂亮验证集一地鸡毛。我见过有人把max_depth加到10以上训练RMSLE冲到0.02验证集却0.17这就是典型的过拟合。4.3 模型对比节奏先单模型求稳再融合求强模型选型最容易犯的错就是一上来把模型全部建好然后直接进入融合。正确节奏分三步。第一步用默认参数搭一个能跑的框架先跑通全流程。第二步逐步加入特征工程和预处理改进每加一个改动对比一次交叉验证分数的变化确认这一步是加分还是减分。第三步在单模型各自调到一个稳定可用状态后再考虑融合。我习惯用一个简单的表格记录每个版本的实验日期、改动点、交叉验证分数、公共榜分数。这个习惯在长周期的对比中尤其重要——你会同时尝试好几个方向没有记录很容易走回头路甚至反复尝试已经被证伪的方案。5. 交叉验证与模型融合把单模型成绩再顶一截5.1 K-Fold交叉验证3个实操细节决定验证分数靠不靠谱很多人在本地验证时直接用train_test_split随机切一次就开始了这样有两个问题随机性太大、浪费数据。更标准的是K-Fold交叉验证在此基础上我还会加三个细节。细节一用KFold而不是train_test_splitshuffleTruerandom_state固定保证可复现。细节二当目标变量是连续值时尽量用StratifiedKFold并把目标变量分箱成5到10档再按分箱结果分层。这样每一折里的房价分布都和全量数据接近避免某一折全是高价房或全是低价房。细节三把OOF预测保存下来。K-Fold交叉验证的副产品就是每个样本在它所在折的验证阶段都会产生一个预测值拼起来就是OOF预测。OOF预测是后面做模型融合最重要的素材。再讲一个我踩过的坑有时候同一份代码换个random_state交叉验证分数波动很大。这是小样本数据的正常现象。解决办法不是只跑一次而是跑3到5次不同随机种子取平均值把这个均值当作该方案的真实水平。我见过有人因为一次交叉验证分数好看就高兴半天换个随机种子却掉0.01之后所有结论都必须在多次随机种子的均值上下判断。5.2 四模型加权平均在log空间融合才是正确姿势当你手里有风格不同、水平相近的几个单模型时把它们的预测做加权平均往往比单独用任何一个模型都有提升而且是免费的提升。原理很简单不同模型的误差存在互补性A模型在这个区间强B模型在另一个区间强平均一下可以把峰值误差摊平。具体操作分三步。第一步选模型。比如选Ridge、ElasticNet、XGBoost、LightGBM四个确保差异足够大——全是同类型树模型的变体收益很小。第二步把每个模型的OOF预测收集起来用验证集搜索最优权重。简单做法是枚举网格让四个权重之和为1在每个网格点计算加权OOF预测的RMSLE取最小那组权重。第三步权重确定后在log空间做加权平均再expm1还原得到最终预测。我自己在类似数据集上常遇到的情况是四个单模型单独跑交叉验证都在0.12到0.13简单等权融合直接到0.115再经过一次权重搜索能到0.111左右。收益看似不大但在排名上可能就是几百个名次的差别。5.3 Stacking实战OOF特征怎么生成才能不上当加权平均是“手工”融合Stacking则是“学习的融合”——用第二层模型学习如何组合第一层模型的OOF预测。关键点在于第一层模型必须在每一折内部训练、对验证折预测生成OOF特征第二层模型用这些OOF特征去学习。听起来简单但有两个高频错误。错误一直接把第一层模型在训练集上的预测结果喂给第二层。这样的话第二层看到的“特征”是第一层模型见过答案后的输出等于把训练集答案泄漏给了第二层。正确做法是只用OOF预测不混入训练集预测。错误二第二层模型只训练一次不做交叉验证。第二层虽然模型简单但同样需要交叉验证来评估稳定性。我一般用Ridge或带正则的线性回归做第二层因为它面对的是几个高度相关的第一层输出普通线性回归容易不稳定。我的经验是在这套数据上Stacking的收益和精心调过的加权平均差不多但复杂度高不少。新手可以把Stacking当作进阶项目来玩但别指望它能比一个调优过的加权平均再大幅提升多少。投入产出比最高的路径永远是先把单模型和特征工程做好融合只是锦上添花。6. 实战避坑记录我在这类竞赛里反复踩过的坑6.1 过拟合预警训练集分数好不代表验证集也好第一个坑就是过拟合。症状很典型训练集RMSLE低到离谱验证集和公共榜分数却正常甚至偏烂。在这套数据上特征多而样本少树模型过拟合尤其容易发生。怎么应对三板斧增加正则化强度调大reg_alpha、reg_lambda减小max_depth、减少特征删掉特征重要性排名靠后的、增加数据多样性调大subsample和colsample_bytree让每棵树更“弱”。就我的经验max_depth从7压到4、learning_rate从0.1降到0.03过拟合问题基本能被压住代价是训练时间变长分数会回归正常。还有一个不起眼但好用的办法给模型准备一个“分箱目标”做辅助信号比如把房价按十分位数切成10类训练一个分类任务再和回归结果融合。这个属于高阶技巧后面有机会单独写先记住思路就好。6.2 特征泄漏自查CV分数虚高是最大的陷阱特征泄漏是数据竞赛中最阴险的问题。模型正常训练、交叉验证分数很高、公共榜也漂亮私有榜一公布直接崩盘多半是泄漏了。泄漏的高发区有三个。第一个特征工程阶段对全量训练集做了标准化或目标编码。第二个缺失值填补时用了包含未来信息的方式。第三个构造特征时不小心用到了样本之后才产生的数据。在这套数据里最常见的是目标编码泄漏——如果你在全量训练集上计算类别均值再给每行赋值然后去做交叉验证每一折的验证集其实已经通过编码知道了目标信息的统计值分数自然虚高。怎么自测有没有泄漏做个对比实验分别跑“每一折内重新计算目标编码”和“全局目标编码”两种方案下的交叉验证分数。如果全局版本分数显著好于折内版本基本可以断定存在泄漏。正确的目标编码就必须在每一折内完成计算。6.3 公共榜领先不一定安全我的策略是以CV为准最后一个坑谈不上技术更多是心态和策略。公共榜是按测试集一部分样本算出来的分数私有榜是另一部分。很多人在公共榜上看到好名次就不停地针对公共榜调整方案结果私有榜一开直接跳水。更稳的做法以本地交叉验证分数为准公共榜只作为参考信号不当作优化目标。一套方案如果在多次随机种子的本地交叉验证里稳定处于某个区间那不管公共榜看起来差一点还是好一点都按原计划提交。反过来如果公共榜分数比交叉验证好很多通常不是模型厉害而是公共榜样本恰好对你有利这时候更要保持警惕而不是继续加戏。我在这套数据上反复实验后最深的体会是交叉验证分数与实际表现之间的相关性远大于公共榜分数与实际表现之间的相关性。所以每次实验我都让交叉验证分数当“第一话语权”公共榜只匆匆扫一眼。最后分享一个我养成的习惯每次实验都在代码里固定一个“实验记录”格式——数据版本、预处理开关、特征列表、模型参数、CV分数。这样做的好处是当你做了二十组实验回头看时能清楚知道每一步改动的贡献而不是靠记忆拼凑。房价预测这个任务的价值不在于它能让你刷到一个多高的排名而在于它用可控的数据规模逼你走完一整套回归建模流程。对于准备进入数据竞赛、或者想系统巩固回归建模能力的人来说这是一个性价比极高的练习场。下一篇我会继续沿着这个系列往下走把“高级回归技巧二”集中在更细的调参策略和特征选择方法上到时候接着聊。

Kaggle房价预测实战：数据预处理、特征工程与高级回归技巧

相关推荐

完全重建QAM滤波器组：从子带编码到比特分配的工程实践

FANUC CNC屏幕显示功能包配置指南：通信、安装与数据采集

51单片机数码管动态显示：原理、代码与调试指南

更多资讯

Hyperframes：浏览器原生帧级动画实践指南

C/C++栈破坏分析：从崩溃定位到根因追溯的实战方法论

T3 Stack全栈模板：端到端类型安全的工程实践指南

Python函数执行机制深度解析：默认参数、作用域与字节码

Qt信号与槽机制深度解析：从元对象系统到跨线程实战

纯血鸿蒙学生党三件套实测：拍照提取书页文字、课表签到备忘与本地电子书阅读

今日更新

小波包能量谱原理与MATLAB实现：从频带分解到故障特征提取

基于LSTM的网易云音乐评论情感分析：数据清洗与模型调优实战

Alpha-Beta剪枝与极大极小值算法：博弈树搜索原理与实战优化

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？