信用风险建模的数据集构建：从数据源到特征工程的完整指南-北京尧图网络

1. 项目概述为什么信用风险建模要先谈数据做信用风险模型这几年我最深的体会是模型的数学原理几乎人人都能学会但真正拉开模型效果差距的从来都是数据。同样的逻辑回归、同样的XGBoost在A团队手里有八成以上的区分度换到B团队手里连七成都难背后差的往往不是调参技巧而是数据集的选择、清洗和特征构造。信用风险模型的核心任务是预测借款人的违约概率。这个任务本质上是二分类问题——违约或者不违约。但真实业务中的数据不会像教科书里那么干净样本少、坏样本稀疏、特征缺失、时间跨度不统一这些问题似乎永远存在。我见过不少刚入门的朋友花大把时间调模型参数却忽视了更基础的问题训练集选取的样本窗口是否合理坏客户的定义是否统一特征粗筛时有没有偷看全局统计量这些才是真正决定模型成败的地方。简单说信用风险建模本质上是一个数据说话的工程。模型只是工具数据质量决定了工具效能的上限。本文想结合我做过的几轮信贷建模实践完整梳理信用风险模型的数据集搭建过程从数据源怎么选、对外部数据的依赖程度怎么判断到目标变量怎么定义、样本时间窗怎么切再到特征工程怎么做、数据划分怎么避免信息泄漏以及实际建模中经常踩的坑。内容会比较长但尽量把为什么这么做讲透而不只是罗列步骤。这套方法适合的读者范围比较广刚接触风控建模的算法工程师、正在搭建信贷评分卡的数据分析师、还有想了解模型为什么在某些场景失灵的业务同学。不一定要求你立刻用同一套流程复制但至少看完之后你能对数据从哪来、怎么处理、怎么为模型所用有一个完整的判断框架。2. 数据源选择与业务数据盘点2.1 内部数据建模的主力军信用风险建模最靠谱的数据来源永远是机构自己积累的内部业务数据。这些数据的好处是真实、可追溯、逻辑一致坏处是不一定稳定也不一定全面。我在实际项目中使用的内部数据主要包含几类身份属性数据。从注册或申请环节收集的年龄、性别、学历、职业、所在城市、居住年限等。这类数据在多数场景下区分度不高但作为基础画像特征仍然需要。行为数据。这是内部数据中的价值高地。包括借款人在平台上的登录频次、浏览行为、借款记录、还款记录、客服交互记录、设备活跃时间等。行为数据往往能反映一个人的稳定性、还款意愿和财务压力。比如一个用户经常深夜登录、频繁变更绑定手机号、多次查看借款额度和提前结清选项这类异常行为对风险的提示作用往往强于单纯的人口统计属性。交易数据。来自借款人账户的流水信息例如收入入账规律、消费支出分布、转账对象集中度、是否有长期房贷或车贷扣款记录。这类数据能直接反映还款能力是判断收入稳定性的重要来源。还款表现数据。这是建模目标变量的核心来源。每个客户的历史还款计划表、实际还款时点、逾期天数的完整记录、当前逾期状态等。没有这套数据就无法定义违约这个标签。内部数据的核心优势在于一致性。同一家机构对客户的记录逻辑不会频繁变动至少在观察期和表现期的跨度内字段口径相对稳固。但不少机构的数据历史并不长往往只有一两年这会在分群建模或时间序列验证时带来问题。2.2 外部数据要不要引入引入多少外部数据源取决于机构的业务类型和客群特性。市场上常见的征信数据、多头借贷数据、黑名单数据、设备指纹数据、运营商数据、社保公积金数据等都能在不同程度上补充内部数据的盲区。对于新客模型内部数据往往稀疏外部数据几乎是必选项对于老客模型内部行为数据已经比较丰富外部数据的增量价值会明显下降此时更值得关注的是外部数据的连续性和稳定性而不是无限堆字段。引入外部数据时我习惯用一个增量贡献的判断标准先把内部数据单独建模记录AUC或KS再加入外部数据重新建模对比指标提升幅度。如果提升不足0.01甚至没有变化而接入成本、解析成本、合规成本都不低就要慎重考虑保留的必要性。实际工作中见过有人为了凑变量数量接了一堆外部数据最后不仅对模型没贡献反而带来成本开销和合规风险这类教训并不少见。还要注意外部数据的覆盖率和更新频率。覆盖率指能匹配到数据的借款人在总体中的比例更新频率则决定特征能否反映借款人的最新风险状态。覆盖率太低的字段会产生大量缺失值虽然可以用缺失率标记处理但缺失本身就是一种信息频繁变化的缺失率会让PSI监测变得很痛苦。2.3 数据资质判断的四个关键维度现在很多机构的数据采购流程并不透明模型团队在拿到一张字段表后应该如何判断数据能不能用我会从四个维度快速评估。第一是相关性。这个字段和信用风险之间是否存在逻辑关联比如近三个月电商购物金额和还款能力之间可能有关联但手机品牌偏好这种字段就很难从逻辑上自洽如果统计上又恰好表现出强相关就要警惕是否偶然过拟合。第二是原始性和加工深度。原始字段是指从数据源头直接采集的记录加工字段是供应商根据已有数据二次生成的比如风险评分欺诈倾向分这类变量。高度加工的字段往往意义不透明上线后难以解释也容易受到供应商口径调整的影响。建议优先采购原始字段加工维度自己来做。第三是时间粒度。如果外部数据只提供当前快照没有历史轨迹就无法构造趋势类特征比如负债率是上升还是下降这类趋势特征对风险的预测能力往往比静态水平值强得多。下单前务必要确认数据支持多长历史回溯。第四是合规授权。这一条在法律层面很少被模型团队关注但一旦出问题责任仍然会落实在模型使用方。数据获取的授权范围、使用目的限定、可存储期限都要有完整的记录。哪怕数据表现再好授权不清也绝对不能接。3. 目标变量设计与样本框架搭建3.1 Y的定义什么才算违约目标变量是信用风险模型中最容易被轻视的环节。Y如果定义错了后面的一切建模工作都是在学习错误的东西。不同机构对违约有不同定义甚至同一机构的不同产品线之间也会有差异。常见口径有逾期90天以上、逾期60天以上、逾期30天以上核销或列为不良资产达到合同约定的违约事件触发条件经过催收流程后仍未收回的损失类资产。选择哪个口径核心考虑因素有两个一是业务实际关注的风险程度二是违约样本是否足够。如果逾期90天才算坏客户那么样本量可能非常少模型学不出足够的信息如果逾期1天就算坏客户又会把大量只是临时忘记还款的客户误标成坏样本。一个折中的做法是用逾期30天或60天作为Y定义同时将逾期90天以上作为稳健性测试的备选口径。还要考虑在贷和已结清的客户如何纳入样本。只建模已结清客户会引入幸存者偏差只建模当前在贷客户又缺少足够长的表现期。实际操作中通常的做法是选择足够久之前进入观察期的客户让表现期覆盖完整再根据表现期内是否发生逾期来打标。3.2 观察期与表现期的匹配观察期指用来提取特征的窗口表现期指用来观察借款人是否违约的窗口。这两个窗口必须错开否则特征和标签之间会互相污染。举一个具体例子来说明某平台想在2025年1月开发评分卡取2024年1月作为观察期起点2024年1月到6月提取特征2024年6月到12月观察还款表现。这套设计下特征的提取完全早于表现期不存在时间顺序上的后见之明。表现期长度取决于业务周期和产品期限。如果贷款产品期限是12个月表现期至少6个月如果产品期限是36个月表现期一般取12到24个月。太短的表现期可能漏掉后期才违约的客户太长则会牺牲样本量。3.3 样本量估算的实用方法建模样本量并没有一个绝对下限但工程上有一个常用参考坏样本量不应少于300到500个。少于这个量级模型的稳健性会明显下降即便交叉验证指标看起来不错上线后也很难稳定复制。如果客群坏率是2%要积累500个坏样本大约需要25000个样本。实际建模时按观察期内的进件量来估算比如观察期6个月月均进件5000总进件30000在坏率2%的前提下可以得到约600个坏样本基本满足建模底线。如果坏样本确实不足可以考虑几种变通方案把表现期适当拉长换取更充分的违约暴露将部分高逾期客户视为坏客户例如逾期60天以上而不是90天以上跨产品合并样本但要确认不同产品之间的客群差异不会过大。实在不行还可以用拒绝推断的方式补充坏样本不过这个方法对假设条件要求高处理不当容易放大偏差实践中我通常放在最后作为备选。3.4 样本权重与分群策略数据集中不同客群的违约率差异很大时直接混合建模会带来两个问题一是模型会被高违约率客群主导二是低违约率客群的特征无从学习。常见做法是决定是否需要分群建模。判断是否分群先看单变量分析。如果不同客群在同一特征上的分布差异显著以及不同客群在违约率上的差异显著才值得考虑分群。我见过有些团队按年龄或地域硬拆模型最后每个子模型的样本都不充分反而比整体模型更不稳定。另一个常见处理是样本加权。当某个客群的样本量特别少但业务上又很重要时可以适当提高它的样本权重。不过权重调整不能过度使用因为它会增加训练分布的失真程度上线后的实际表现大概率会比训练时差一些。4. 特征工程核心环节与数据处理4.1 原始特征向衍生特征的转化逻辑拿到原始数据后直接扔给模型通常不是好的做法。衍生特征的价值在于把业务常识和数据分布结合起来让模型更容易学到稳定规律。我在信用风险场景中常用的衍生特征方向大概有几类趋势类特征。当前负债水平和三个月前相比是升高还是降低月均消费金额在最近六个月的斜率是正向还是负向。这类特征考察的是变化方向比单一静态值更能反映借款人当前的财务压力。稳定性特征。工资卡余额的变异系数、登录地点的月度变化次数、联系人号码的更换频率。稳定性特征的逻辑是越稳定的客户风险越低而频繁变动往往对应不稳定的资金状态。集中度特征。近三个月支出的最大类别占比转账对象中前五名接收方金额占总转账金额的比例。集中度可以反映资金流向的合理性比如大量资金长期流向某个非关联账户往往有代偿操作的可能。高频行为聚合特征。统计借款人在客诉渠道、人工客服通话时长、APP的日活跃频次、额度调整申请次数等高频行为。这类特征要控制计算量通常以聚合窗口内的次数、均值、方差为主。4.2 WOE分箱与IV值筛选信贷建模中WOE证据权重和IV信息价值是筛特征的经典工具。WOE的计算方式并不复杂把某个连续变量分成若干箱后计算每箱中好客户占比与坏客户占比之比的对数。公式是WOEln(好人比例/坏人比例)。IV则是所有分箱WOE的加权求和权重等于好人比例与坏人比例之差。实际工作中我做分箱有几个经验。分箱数量通常控制在5到8箱太少会丢失单调性细节太多则容易过拟合。分箱时先按分位数粗分再根据WOE的变化趋势做手动合并确保每个箱的WOE值有序且业务上可解释。如果一个变量在中间某一箱的WOE方向突然反转往往说明这个变量有非线性关系但分箱后的曲线应该尽量保持单调或至少趋势清晰。筛选特征时IV值在0.02以下通常认为区分能力弱0.02到0.1为中等0.1到0.3为较强0.3以上需要警惕是否过高而可能是信息泄漏。不过IV只衡量单变量能力不能完全替代模型级的特征选择特别是某些IV偏低的变量与其他变量组合后会产生不错的增益。所以我的流程是先用IV做一个初步粗筛再用模型特征重要性做二次筛选两者结合而不是互相替代。4.3 缺失值、异常值与相关性的实战处理缺失值在信用风险数据里几乎无处不在。处理逻辑并不是简单填充一个均值了事而是要区分缺失的产生原因。如果某个字段在固定时间段内因为采集规则调整而缺失那么缺失本身没有信息量适合用中位数或众数填充如果缺失是因为特定客群无法提供该信息而导致的比如没有工作单位的客户工资字段必然缺失那么缺失本身就是一个有区分度的状态建议单独用缺失标记特征表达。异常值的处理也有讲究。信用数据中常见的情况是某个字段存在极端值比如申请金额出现百万级若它确实来自真实进件直接剔除反而会损失真实信息。我的做法是通过分箱和WOE转换来容纳异常值让极端值落入第一个或最后一个分箱中而不是单独剔除。这样可以避免模型在极端值区域产生不稳定预测。相关性处理主要关注高相关特征。信用评分模型中特征之间的相关性过强会造成系数估计不稳定也会给后续模型解释带来困扰。实践中我会用一个简单的阈值判断对于Pearson相关系数超过0.7的特征对保留其中IV较高或业务意义更清晰的一个。这里的重点是挑选留哪个而不是简单把两个都删掉。5. 建模落地与数据划分的工程细节5.1 训练集、验证集与测试集的划分策略建模环节最需要避免的问题就是时间泄漏。我见过不少团队在划分数据集时用随机切分这在某些场景下问题不大但在信用风险建模中很容易把未来的信息引入训练集因为同一天的进件在风险分布上彼此独立吗并不是。比如某个营销活动期间集中进件了一批客户随机划分会让这批客户同时出现在训练集和测试集中导致评估结果虚高。稳妥的划分方式是按时间顺序切分。假设观察期是2024年1月到6月把1月到4月的样本作为训练集5月作为验证集6月作为测试集。这样能保证模型在真实的使用场景下进行验证因为线上应用时模型永远面对的是未来的客户。如果担心单一测试窗口太短导致评估不稳定可以再取一个更晚时间段的样本作为补充测试集。5.2 模型训练迭代中的特征稳定性监测在模型迭代过程中特征稳定性与实际效果一样重要。即使某个特征在训练集上的IV值很高如果它在训练期之后的时间分布发生漂移模型在在线使用时的效果也会快速衰减。稳定性的常用监测指标是PSI群体稳定性指数。PSI衡量特征或评分在训练集与近期样本之间的分布差异。如果PSI大于0.1说明有轻度漂移需要关注如果大于0.25说明漂移显著这个特征最好从训练中排除或者提前做分箱的固定切点调整。在特征筛选环节做稳定性测试有一个好处可以把那些只是在特定历史阶段有效的噪声特征剔除掉。这类特征在实际项目中并不少见比如某些在营销活动期间对风险区分明显的字段一旦活动结束就失效了。5.3 常用建模方案与效果评估信用风险建模的主流方案仍是逻辑回归主要原因是可解释性和监管友好性。线上风控中也会大量使用XGBoost、LightGBM等树模型来提升效果但许多业务方仍然要求有一个可解释的评分卡作为底线模型。评估指标方面AUC和KS是最常用的两个。AUC衡量模型区分正负样本的综合能力KS则是好坏样本累计分布的最大差距。除了这两个指标还要关注评分分布的稳定性以及不同分数段的人群占比是否与业务预期一致。实操中我一直建议关注坏样本的质量而非数量。比如某个客群虽然整体坏率不高但其中的坏样本集中在某个年龄段和特定收入区间此时把模型分开训练反而更能抓住风险特征。6. 常见问题与数据陷阱排查6.1 信息泄漏最隐蔽的建模事故信息泄漏指的是训练数据中包含了未来信息使模型在训练时获得不合理的优势导致评估指标虚高、上线后表现大幅缩水。一个真实的案例某次建模中有一个字段叫近三个月是否发生过催收这个字段只在催收动作发生后才会产生。但催收动作本身是违约的结果不是原因如果在观察期里直接把这个字段纳入特征模型就等于提前看到了标签。这类字段要严格从特征集中排除或者只能使用表现期开始时点之前已知的数据。排查信息泄漏的方法是做时间顺序校验把特征提取的截止时间严格固定在观察期终点特征中任何用到之后数据的字段都移除。另外要对异常高IV的字段保持警惕当某个字段的IV超过0.5甚至接近1时大概率不是它预测能力惊人而是它本身已经携带了标签信息。6.2 样本不平衡、拒绝偏差与分布漂移坏样本占比低于5%是信用风险数据的常态。直接训练的问题在于模型会严重偏向把样本预测为好客户看似准确率很高实际上却抓不住坏客户。处理不平衡的手段包括对坏样本过采样、对好样本下采样或者在损失函数中给坏样本更高权重。具体选择哪个方法要结合模型类型来定逻辑回归下更常用的是调整样本权重而树模型下过采样和更低的min_child_weight设置往往更有效。拒绝偏差指的是建模样本只包含被拒绝进件之前通过的客群那些被拒绝的客户没有任何表现记录因此无法纳入训练集。这个问题的严重程度取决于审批策略的激进程度。如果拒绝率很低偏差影响不大如果拒绝率很高就要考虑拒绝推断也就是通过某种逻辑为被拒客户模拟还款表现。拒绝推断方法很多但每种都带假设使用时要特别谨慎。分布漂移常见于客群结构变化或者产品策略调整后。训练集来自历史客群但上线后面对的客群可能已经变了。应对分布漂移的核心手段是定期做PSI检测并提前设计好模型重训阈值。如果评分PSI持续升高超过0.15通常就要考虑版本更新了。6.3 实务问题速查表问题现象可能原因排查方向与方案训练AUC 0.85线上只有0.70特征泄漏或客群分布漂移检查特征时间边界核实训练集与线上客群的PSI某特征IV高达0.6字段可能携带未来信息追溯字段产生时点确认是否在观察期后更新模型不分群但业务要求分组管理客群子类间差异不充分做子群AUC对比确认是否有必要独立建模外部数据接入后AUC无提升内部数据已饱和或外部字段相关性过低评估增量贡献考虑缩减外部接数量表现期坏样本不足500个坏率低或表现期太短延长表现期、放宽Y口径或增加特征维度的信息量评分分布上线后快速右移通过率策略或客群结构变化检查进件策略调整记录重新标准化评分切分7. 具体实操案例一个模拟项目的数据集构建全程7.1 模拟项目背景与数据准备为方便说明用一个简化的模拟场景走一遍流程。假设某互联网消费金融平台产品为12期小额借款月进件量约5000件历史数据覆盖12个月。原始数据包括注册信息年龄、性别、职业类别、所在城市、申请信息申请金额、期限、用途、行为日志近6个月登录频次、浏览时长、额度调整记录、还款表现每月还款状态逾期天数。目标是在仅用内部数据的情况下构建一套可上线的信用评分模型。首先检查坏样本数量以逾期60天以上为Y口径在12期产品中大概有720个违约客户坏率约6%满足建模底限。观察期与表现期的设置上取前6个月为特征观察窗口随后的6个月为表现期。特征观察窗口内的进件样本全部保留但表现期不足6个月的样本剔除这样最终有效样本约6000个。7.2 特征构造与数据集形态针对六类原始字段分别构造特征。注册信息直接处理为类别特征做频数编码或独热编码申请信息衍生出申请金额占月收入比例等比率型特征行为日志衍生出近一个月登录天数、近三个月登录天数均值、近一周活跃时段占比、额度调整次数等特征还款表现则作为目标变量不在特征中停留。原始数据经处理后的数据集形态大约是6000个样本、120列特征。随后做WOE分箱和IV计算保留IV大于0.02且PSI小于0.1的约60个特征再做相关性粗筛后保留约35个特征进入训练。7.3 训练效果与实际结果按时间顺序把前60%样本作为训练集中间20%作为验证集用于调参最后20%作为测试集。逻辑回归训练结果中测试集AUC约为0.75KS约为0.38按信贷模型标准属于可接受水平。训练集和测试集之间的指标差异在0.02以内没有明显过拟合。后续的稳定性测试显示评分PSI在测试窗口与训练窗口之间为0.06属于稳定范围。几个权重较高的特征在业务解释上也合理历史还款行为、近三个月登录天数变化趋势、申请金额与收入比值这三类排在影响因子前列。7.4 这个案例最值得借鉴的地方这个案例虽然是简化模拟但整个流程与真实项目完全一致。最值得参考的是每个决策背后都有明确的验证动作先确认坏样本数量够不够再设计观察期表现期先做WOE分箱让特征具有单调的解释性再从IV、PSI、相关性三个角度完成特征初筛先按时间顺序划分数据再通过训练集与测试集指标差异评估过拟合。信用风险建模的特殊性就在于慢。数据集构建阶段看似繁琐每一步都在约束模型的自由度但正是这些约束保证了模型上线后的真实效果不会让人失望。8. 几点总结与个人经验模型上线不是终点数据集的维护和更新才是长期工作。一套评分卡上线后数据分布会不断漂移业务策略会不断调整外部环境也在变化。我个人经验是每个月至少要跑一次关键特征的PSI报告每个季度回顾一次模型在最近进件上的效果。如果发现某个曾经重要的特征开始失去区分度就要提前准备替代特征或触发重训流程。再分享一个小技巧建模数据集中一定要从第一天就保留完整的血缘记录。每个字段什么时候接入、什么时候变更口径、什么时候下线都要有记录。这个问题我在项目中期吃过不少亏某个核心字段的来源逻辑早就变了但模型团队并不知道特征分布发生异常后排查了很久才发现是数据口径发生了变化花了大量时间在无效环节上。保存血缘记录之后这类问题的定位速度会快十倍。最后想强调的一点是数据集建设的核心并不是追逐更多或更新的字段而是要把握可解释、可回溯、可复用这三个原则。可解释指每个特征的业务含义清晰可回溯指每个数据点的来源和加工过程可查可复用指数据集的构建流程能被下次建模高效复用。如果能做到这三点信用风险模型的迭代就会进入一个相对平稳的轨道不会被每轮数据波动折腾得焦头烂额。

信用风险建模的数据集构建：从数据源到特征工程的完整指南

相关推荐

校招底层逻辑：信号匹配度、节奏感知力与容错窗口期

GPIO方向切换实战：从寄存器操作到Linux与FPGA的快速实现

JupyterLab扩展安装失败的根源：版本对齐与前端构建机制解析

更多资讯

荧光标记脂质DOPE-FITC与FITC-PEG-DOPE：结构、应用与避坑指南

DeepSeek Harness热门插件盘点：10个实用插件，覆盖多Agent、上下文和多模态

MyBatis-Plus插件开发与分库分表实战指南

光子晶体等离激元文献复现：从能带到透射谱的仿真复盘

Java实现下一个最近时间算法解析

Nacos配置中心落地实践：从动态刷新原理到微服务配置管理避坑指南

今日更新

防关联浏览器哪个好？三款产品实测差异解析

2026钢铁行业AI转型系统选型对比：多基地排产、大宗原燃料采购与质量追溯，六家厂商能力差异在哪里

影刀RPA深度实战：大模型Fine-tuning定制RPA专用Prompt与指令生成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？