随机森林实现银行贷款审批：MATLAB三分类完整工程解析-北京尧图网络

简介这是一份基于随机森林算法构建模式识别系统的设计文档重点展示在MATLAB R2019a中实现银行贷款审批场景的分类预测适合学习机器学习、决策树集成以及需要完成相关课程设计或毕业设计的读者。文档从随机森林算法思想讲起依次给出系统流程图、软硬件环境、数据集描述1500个训练样本和500个测试样本7维客户特征、特征重要性筛选流程以及利用ID3算法构建多棵决策树并进行投票分类的完整过程。文中还包含带注释的主要程序代码覆盖randperm随机选特征、randi有放回抽样、决策树训练与统计投票等核心环节并说明了如何用测试集计算分类准确率来评估模型性能。资源共1个doc文档压缩包大小154KB目前已有162人学习下载适合作为模式识别、机器学习课程设计或随机森林算法实战的参考资料。1. 随机森林做银行贷款审批一套能直接跑的三分类MATLAB工程随机森林在模式识别里的地位有点像工具箱里的电钻——平时不显眼拿到标签数据时它是上手最快、最不容易翻车的选择。这套资源把随机森林完整落到银行贷款审批场景里训练集1500条、测试集500条七列离散特征用30棵ID3决策树组成森林对“同意、再考虑、拒绝”三分类做投票预测实测准确率91.6%。适合两类人一类是刚接触集成学习、想读懂随机森林怎么用代码实现的初学者另一类是手头有离散标签数据、想快速搭一个可解释基线模型的从业者。代码不依赖任何第三方工具包MATLAB R2019a直接读Excel就能跑下面我按“原理—代码—踩坑”的顺序把它拆开讲。2. 随机森林的分类原理与贷款数据集的7个特征先弄懂再动手2.1 两个随机源Bootstrap抽样与特征子空间随机森林不是简单地把多棵决策树堆在一起投票。它效果好核心在于两处刻意引入的随机化。第一个是样本抽样。每棵树训练之前从原始N个样本里有放回地抽k个Bootstrap抽样。有放回意味着同一个样本可能被抽中多次也可能一次都没被抽中。当N足够大时一个样本完全不被抽到的概率约为0.368这些没被抽中的样本就是袋外数据后续可以用来做内建验证。这套代码里sn900也就是每棵树只用1500条里的900条袋外占比相当高。第二个是特征子空间。每棵树在分裂时不是从全部M个特征里挑最优分裂属性而是先从M个里随机选m个m远小于M再在这m个里按信息增益选最好的。树与树之间看的“视角”不同相关性被压低投票结果的方差才会小泛化能力才稳。这套代码的M6m被写死为5也就是randperm(6,5)每个节点只有5个特征参与竞争。注意这里的Featurerandperm(6,5)是在每棵树开始构建时随机一次整棵树共用这5个特征。理论上的随机森林在每个节点都重新抽特征子空间代码做的是“每棵树抽一次”效果差别不大但你调参时要知道自己改的是哪一层。2.2 贷款数据集的7个特征每一列的含义与编码边界数据集是银行是否同意贷款的分类预测总共2000条样本列全是离散标签值。前6列是候选特征第7列是标签做的是三分类。列号含义编码取值1年龄1青年2中年3老年1/2/32收入水平1一般2最高0低0/1/23是否有房1有0无0/14信用等级1很好2好3一般1/2/35性别1男0女0/16居住地1城市0农村0/17标签1同意贷款2还需考虑3不同意1/2/3这套编码有个隐藏风险收入“低”是0“无房”是0“女”是0“农村”是0。在ID3这种基于符号划分的算法里0只是离散符号不参与距离计算所以安全。但如果同样这批数据拿去做KNN或SVM编码0就会造成“低收入女性农村”的假邻近必须重编码或做one-hot。第7列是三分类标签代码里所有熵计算都按3类处理CN_sta函数维护的是3个计数器而不是二分类的1个。如果你想把任务改成“是否同意”的二分类需要把所有“2还需考虑”合并成“3不同意”或者直接删除这部分样本而不是简单地把标签大于1的置为0。2.3 特征提取与重要性排序为什么固定保留5个特征原文档1.4节描述了一套完整的特征选择流程计算每个特征的重要性按降序排序确定剔除比例反复剔除直到剩下m个特征每个特征集对应一个袋外误差率最后选袋外误差率最低的特征集。代码里没有把整套特征选择过程写全而是直接定义了m5也就是从6个候选特征里保留5个参与建模等于固定剔除1个特征。如果你想补全这个特征选择环节可以在主程序外层套一个遍历对6个特征做2^664种组合每种组合重训一次森林、记录准确率最后挑准确率最高的组合。6个特征的组合数只有64穷举完全不费时间比“重要性排序比例剔除”更可靠。特征重要性本身在随机森林里有几种算法最常用的是不纯度减少一棵树在某个特征上分裂时带来的信息增益越大说明该特征对分类贡献越大把森林里所有树的增益累加平均就得到重要性分数。注意这套代码没单独输出重要性指标如果你需要可以在TreeNode每次算出Gain时累加到对应特征的计数器里。3. ID3决策树信息增益怎么算递归分裂如何停下来3.1 熵与信息增益三个公式讲透分裂依据ID3选择分裂属性的依据是信息增益信息增益的来源是信息熵。先把三个公式摆出来。数据集整体熵 I -Σp(i) × log2(p(i))i遍历全部类别p(i)是第i类样本在集合中的占比。这套数据有3类所以循环3次。代码里的Exp函数就是它的实现function IExp(CN,A) CNRowNumCN_sta(CN,A); nlength(A); I0; for i1:3 if CNRowNum(i)0 P(i)CNRowNum(i)/n; II-P(i)*log2(P(i)); end end end逻辑说明CN是全体样本的第7列标签A是参与计算的行号集合。为什么传行号而不是直接对整列算因为递归分裂后每个子集是原样本的子集合A就是子集合的行索引。CNRowNum通过CN_sta统计出A对应行里三类计数n是子集大小。某个类计数为0时跳过防止log2(0)报错。然后是条件熵按某个特征A分裂后各分支熵的加权平均avg_entropy Σ(|RowNum_i| / n) × Exp(CN, RowNum_i)代码实现function entropyavg_entropy(Attri, A, CN) k0; entropy0; nlength(A); IExp(CN,A); [PValue,RowNum]type_sta(Attri,A); for i1:length(PValue) CIExp(CN, RowNum{i}); entropyentropy - length(RowNum{i})/n*CI; end end参数说明Attri是DValue矩阵的某一列也就是某个特征在所有样本上的取值。type_sta按值归类找出这一列里有几种取值、每种取值对应哪些行号。每一类子集的熵按样本占比加权累加得到分裂后的不纯度。信息增益就是两者之差Gain I(分裂前整体熵) - avg_entropy(分裂后加权熵)TreeNode里对ClassPNum中的每个特征算一遍Gain选增益最大的特征作为当前节点的分裂属性。这一步是整套决策树构建的核心。3.2 递归终止的4种情形TreeNode的收尾逻辑TreeNode是决策树生成器的核心递归函数接收5个参数DValue全部特征数据、CN标签、A参与行号、ClassPNum剩余可用特征编号、m父节点编号。每次递归先检查终止条件。第一种isempty(DValue)样本集为空直接返回空节点。这是防御性写法递归过程中RowNum{i}有可能为空需要兜底。第二种isempty(ClassPNum)可用特征已经用完没法再分裂。用find_most选出当前子集中占比最高的类别作为叶子节点。find_most内部用CN_sta统计三类计数取最大值索引返回类别名字符串。第三种length(find(CNRowNum0))2三类中两类计数为0说明当前子集样本都属于同一类。node直接记录CN(A(1))变成纯叶子。第四种max(Gain)0所有特征的信息增益都非正继续分裂没有意义用find_most收尾。这4种终止条件覆盖了ID3的标准停止策略。但要注意这套代码没有预剪枝——没有最大深度限制、没有叶子最小样本数。只要信息增益为正树就会一直长到训练集被分纯。这套数据量小树深有限过拟合风险可控如果你换到更大的数据集一定要自己加剪枝条件。3.3 为什么这里用ID3而不是C4.5或CART现在的工业实践里C4.5增益率和CART基尼系数更常见但这套工程选ID3在数据上是合理的。ID3只能处理离散属性而这套数据6个特征全部是整数编码天然匹配。ID3的已知缺点是偏好取值多的属性但这套数据每个特征最多3个取值偏好问题不明显。C4.5在ID3基础上加了连续属性离散化、增益率修正和剪枝代价是代码复杂度明显上升。CART用基尼系数生成的是二叉树节点分裂逻辑和这套代码的type_sta多分支逻辑不兼容。所以保留ID3是正确的。但你要知道它的边界一旦后续在数据里加入“收入金额”“征信分数”这类连续特征ID3就会非常痛苦到时候再改成C4.5或CART不迟。在MATLAB里想快速验证CART效果可以用自带的fitctree函数但要注意那会放弃这套手写ID3的训练流程相当于重新搭一套。4. 在MATLAB R2019a里把随机森林跑起来代码逐段拆解4.1 主程序30棵树、每棵900个样本这两个参数怎么理解先看主程序的第一段clear all; clc; rnodecell(3,1); %3*1单元数组存每棵树的节点编号 rchild_valuecell(3,1); %3*1单元数组存每棵树各节点的分裂属性值 rchild_node_numcell(3,1); %3*1单元数组存每棵树各节点的子节点编号 sn900; %每棵树从样本集有放回抽取sn个样本 tn30; %森林中决策树的棵数 Sxlsread(loan_train.xls); %读训练集三个cell数组用来存放整个随机森林rnode{j,1}是第j棵树的节点列表rchild_value{j,1}是第j棵树各节点的分支取值rchild_node_num{j,1}是第j棵树各节点的子节点编号。注意cell初始化为3行而tn30当j超过3时MATLAB会自动扩展数组不会报错但如果你在循环前就用rnode{30,1}预分配代码会更规范。训练循环是整份资源的灵魂for j1:tn Featurerandperm(6,5); %随机选取5个特征参与本棵树构建 Sample_numrandi([1,1500],1,sn); %从1至1500内随机抽取sn个样本1*sn矩阵 SDataS(Sample_num,:); %一棵树的训练集有放回抽样 [node,child_value,child_node_num]ID3(SData,Feature); rnode{j,1}node; rchild_value{j,1}child_value; rchild_node_num{j,1}child_node_num; end逻辑说明每次循环构建一棵树。Feature用randperm从6个特征中随机选5个这5个特征在这棵树整个生命周期内固定参与分裂。Sample_num用randi从1到1500之间随机抽900次生成1×900的行向量这就是Bootstrap抽样——放回抽取同一行可能重复出现。SData用索引用行抽取得到一棵树的训练子集。然后调ID3返回三个数组按行存入cell。参数说明sn900意味着每棵树只用60%的训练样本剩下约40%未参与该树训练它们就是袋外样本。如果你想算袋外误差可以在训练结束后用“没被抽到的行号”做验证但原代码没算。tn30的森林规模偏小通常提升到100—200棵结果会更稳定但训练时间也会线性增长。测试循环Txlsread(loan_test.xls); TDataroundn(T(:,1:end-1),-1); %四舍五入保留一位小数 lenlength(TData(:,1)); %测试样本数 typezeros(len,1); for j1:len [type(j)]statistics(tn,rnode,rchild_value,rchild_node_num,TData(j,:)); end xlswrite(loan_result.xls,[T type]); %输出测试结果 gd T(:,end); count sum(typegd); fprintf(共有%d个样本判断正确的有%d\n 准确率为百分之%s\n,len,count,count/len*100);测试时对特征做roundn保留一位小数。逻辑上是为了把浮点比较变成更稳定的值比较。随后对每个测试样本statistics让30棵树分别投票取票数最多的类别写回结果文件并算准确率。4.2 ID3与TreeNode三个全局数组如何存下一棵树ID3函数function [node,child_value,child_node_num]ID3(S,Feature) global node child_value child_node_num DValueS(:,1:6); %取前6列特征 DValueroundn(DValue,-1); %四舍五入 CNS(:,7); %取第7列标签 CNnum2str(CN); %标签转字符串 for i1:length(CN) A(i)i; %初始化行号索引 end [Feature,~]sort(Feature); ClassPNumFeature; CLASSPNUM[1 2 3 4 5 6]; [CHA,~]setdiff(CLASSPNUM,ClassPNum); DValue(:,CHA)0; %把没用到的特征置0 m0; [node,child_value,child_node_num]TreeNode(DValue,CN,A,ClassPNum,m); end逻辑说明ID3先把标签列从数值转成字符串因为叶子节点find_most返回的是字符串形式的类别名后续投票比较用strcmp。然后把Feature排序整理出当前树可用的特征编号ClassPNum。setdiff取差集找出6个特征里没被选中的那1个把DValue对应列整体置0标记为“本树不可用”。最后以m0为根节点递归建树。用全局变量存树是这段代码比较古老但实用的写法。node、child_value、child_node_num三个全局数组配合TreeNode递归时不断append最终形成一棵完整决策树。如果你自己重构建议改成函数内局部变量加返回值传递能避免全局变量在多次调用时残留。TreeNode递归的核心部分function [node,child_value,child_node_num]TreeNode(DValue,CN,A,ClassPNum,m) global node child_value child_node_num nlength(node); if m0 klength(child_node_num{m}); child_node_num{m}(k1)n1; %把本节点编号挂到父节点的子节点列表 end if isempty(DValue) node{n1}[]; child_value{n1}[]; child_node_num{n1}[]; return; end if isempty(ClassPNum) node{n1}find_most(CN,A); child_value{n1}[]; child_node_num{n1}[]; return; end CNRowNumCN_sta(CN,A); if length(find(CNRowNum0))2 node{n1}CN(A(1)); child_value{n1}[]; child_node_num{n1}[]; return; else IExp(CN,A); for i1:length(ClassPNum) Entropy(i)avg_entropy(DValue(:,ClassPNum(i)),A,CN); Gain(i)I-Entropy(i); end if max(Gain)0 node{n1}find_most(CN,A); child_value{n1}[]; child_node_num{n1}[]; return; else maxGfind(Gainmax(Gain)); [PValue,RowNum]type_sta(DValue(:,ClassPNum(maxG(1))),A); node{n1}ClassPNum(maxG(1)); child_value{n1}PValue; child_node_num{n1}[]; ClassPNum(maxG)[]; for i1:length(PValue) [node,child_value,child_node_num]TreeNode(DValue,CN,RowNum{i},ClassPNum,n1); end return; end end end逻辑说明当前节点先判断能不能直接收尾不能就开始算信息增益。Gain最大值的特征作为分裂属性按该特征的不同取值把样本划分成多个子集RowNum{i}每个子集递归建子树。node记录节点编号或叶子类别child_value记录内部节点每个分支的特征值child_node_num记录每个分支对应的子节点编号。三层数组配合形成一棵可查询的树。4.3 statistics与vote30棵树对一条样本如何投票statistics函数function [type] statistics(tn,rnode,rchild_value,rchild_node_num,PValue) TypeName{1,2,3}; TypeNum[0 0 0]; for i1:tn [type]vote(rnode,rchild_value,rchild_node_num,PValue,i); if strcmp(type,TypeName{1}) TypeNum(1)TypeNum(1)1; elseif strcmp(type,TypeName{2}) TypeNum(2)TypeNum(2)1; else TypeNum(3)TypeNum(3)1; end end maxnfind(TypeNummax(TypeNum)); typestr2num(TypeName{maxn(1)}); end逻辑说明对第i棵树调用vote让这棵树返回一个类别字符串然后统计30棵树里三类票数取最高票类别作为最终分类。maxn(1)取最大值的第一个索引避免并列时数组越界。vote函数function [type] vote(rnode,rchild_value,rchild_node_num,PValue,j) n1; %从根节点开始 k0; while ~isempty(rchild_node_num{j,1}{n}) for i1:length(rchild_value{j,1}{n}) if PValue(rnode{j,1}{n})rchild_value{j,1}{n}(i) nrchild_node_num{j,1}{n}(i); k0; break; end end if ilength(rchild_value{j,1}{n}) PValue(rnode{j,1}{n})PValue(rnode{j,1}{n})0.1*k; PValueroundn(PValue,-1); end k(-1)^k*(abs(k)1); end typernode{j,1}{n}; end逻辑说明从根节点开始把测试样本当前节点的特征值与每个分支值比对。匹配则进入子节点不匹配则用0.1*k做小幅偏移再roundn回来希望偏移后能匹配上某个分支。k的变化序列是0、1、-2、3、-4交错正负偏移。这个设计的初衷是防御“测试样本遇到训练时没见过的取值”。问题在于这是离散整数数据单一分支值有0和1两类偏移0.1需要很多次才能从0抖动到1在最坏情况下循环次数非常高而且强行微调特征值去匹配另一个分支本质上是一种近似容错并不符合离散分类语义。第5章会展开这个坑。4.4 结果输出与准确率计算从loan_result.xls反推模型好坏运行结束后loan_result.xls的每一行是测试样本的原始7列再加第8列预测类别。gdT(:,end)取真实标签与预测结果逐行比较sum(typegd)统计正确数最后算出准确率。复现结果是458/500即91.6%。注意这是单次运行的结果。Bootstrap抽样和特征选择都是随机的每次运行准确率会有小幅波动范围大概在90%到93%之间。判断模型好坏之前先固定随机种子。5. 复现这套代码的5个坑从精度截断到投票抖动5.1 坑一roundn保留一位小数对整数特征无害但会坑连续值现象代码在训练和测试前都对特征执行roundn(..., -1)也就是保留一位小数。我第一次照跑没觉得有问题准确率稳定在91.6%。后来把特征换成原始未取整数据重跑发现结果变化很小。原因这套数据的特征全是整数roundn对整数没有任何影响。但如果把代码套到自己的连续特征数据上比如收入金额12.34roundn会强行改成12.30连续值的决策边界被粗糙化ID3无法区分12.34和12.30的差异熵计算结果会被污染。解决如果特征本身就是整数编码直接删掉roundn这行如果特征里有连续值不要用roundn粗暴截断换成C4.5的连续属性离散化逻辑或者先把连续值按分位数分成几个区间再喂给ID3。5.2 坑二setdiff置0不等于禁用特征想改节点级随机时容易翻车现象我原以为Featurerandperm(6,5)之后没被选中的特征就彻底退出了这棵树。为了验证我打印TreeNode的分裂特征编号结果发现自己想改成“每个节点重新随机抽5个特征”时原来的置0逻辑让DValue里某些列全是0新逻辑根本没法跑。原因DValue是全局共享的数据矩阵ID3在入口一次性把没选中的列全置0了影响会扩散到所有后续递归。置0并没有真正删除特征列只是把值改成常量而真正控制某特征参与分裂的是ClassPNum的传递。如果你想改成节点级随机置0的列会在数据层面干扰统计。解决删掉setdiff置0这段代码改成索引过滤——TreeNode计算avg_entropy时只用ClassPNum里的编号去DValue取列不主动修改DValue。这样既保留原始特征值也为后续动态特征选择留下扩展空间。5.3 坑三vote的“最近值”抖动可能导致高循环或错分现象有一次调试程序卡在vote函数里很久不返回。检查发现测试样本在某棵树上遇到一个节点特征取到了树里没有的分支值vote进入抖动逻辑k从0开始按1、-2、3、-4交替变化而分支值是整数0.1的步长要抖动很多次才可能命中。原因这套数据是离散整数标签树的分支是0/1/2这样的固定值。vote的0.1*k抖动逻辑是为连续值容错设计的根本不适合离散特征。更麻烦的是即使抖动能命中也等于是强行把特征值改到另一个分支上去匹配分类结果可能错误。解决我在复现时给它加了最大重试次数比如100次超过就放弃该树的投票返回当前节点子集最常见的类别作为该树结果。这样至少保证整个流程稳定不会因为一棵树的异常拖住全流程。5.4 坑四没有固定随机种子90%到93%的波动无法定位现象第一次跑91.6%第二次90.4%第三次91.0%。同一份数据、同一套代码结果却在小幅波动。原因randperm和randi都在消耗随机数流MATLAB每次启动的随机种子默认不同。随机森林本身有随机性但工程上必须固定种子否则你没法判断准确率变化是参数改动引起的还是随机波动。解决在主程序第一行加rng(42)42可以换成任意整数。数据不变、参数不变时每次运行结果完全一致。调参前先固定种子否则你只是在跟随机数搏斗。5.5 坑五xlswrite与Excel路径以及标签列格式统一现象在另一台机器上运行时xlswrite报错或者生成的loan_result.xls在中文路径下打不开。原因xlswrite依赖Windows COM组件Excel版本和MATLAB版本不匹配时容易挂。另外如果原表格的第7列是文本形式的类别名而type是数字直接拼接[T type]会导致类型不一致。解决xlswrite替换成writematrix或writecell训练集和测试集放在与脚本同一目录路径保持纯英文无空格标签列统一转成double再拼接写入避免字符串与数字混排。6. 把准确率从91.6%往上顶调参顺序与一个验证习惯6.1 参数扫描的先后顺序三个核心参数tn树棵数、sn每棵树的样本数、m每棵树参与分裂的特征数。我的建议是先固定m扫描tn从30加到100、200。如果100棵比30棵明显提升说明之前欠拟合如果提升很小或下降说明30棵已经够问题在别处。然后固定tn扫描sn试900、1200、1500。sn越大每棵树训练越充分但多样性下降sn越小单棵树越弱整体方差变大。最后再动m从5降到3或4。m降低后单棵树准确率必然下降但森林整体准确率可能持平甚至略升因为投票在综合更独立的错误模式如果降太狠导致准确率明显跌就回到5。常见的玄学操作是只加树的数量把tn从30改成300发现准确率原地不动就以为随机森林失效了。其实树多了之后性能收敛继续堆树只增加训练时间真正突破要靠特征工程和样本质量。6.2 一个验证习惯每次跑完先看混淆矩阵单看91.6%远远不够。我后来每次改动都至少看两样混淆矩阵以及每一类的查准率和查全率。loan_result.xls前7列是原始特征和标签第8列是预测在MATLAB里快速统计pred type; true T(:,end); C confusionmat(true, pred); disp(C);C的行是真实类别列是预测类别。对角线数字越大越好如果某一行对角线占比明显低于其他行说明模型对那个类别的识别能力弱回头查该类在训练集里的分布是否太稀疏。我的习惯是在脚本开头写一行配置注释固定每次实验的参数快照% cfg: tn30, sn900, m5, seed42, acc91.6% rng(42);这个习惯救过我很多次。有一阵连续改特征编码准确率都稳定在92%附近我差点以为编码没改对后来固定种子才发现只是随机波动的假象。从那以后我每次跑随机森林都强制走固定seed、记录cfg、看混淆矩阵这三步希望帮到你。本文还有配套的精品资源点击获取

随机森林实现银行贷款审批：MATLAB三分类完整工程解析

相关推荐

打造属于你的AI智能体，从数据开始 —— 用 TaoToken 统一通道接入 Bright Data MCP 与 Trae 快速构建垂直智能体

终端AI编程助手Super Code实战：安装配置、使用技巧与避坑指南

并发编程核心概念详解：从进程线程到锁与死锁

更多资讯

Agent Client Protocol：智能体客户端通信协议设计与实践

MySQL学生成绩管理系统数据库设计：需求分析、建表、视图与存储过程完整方案

Unity运行时导入3D模型：基于TriLib源码的模型加载与替换实践

数据库关系代数与SQL实战入门：从课本习题到可执行查询

Unity3D数字孪生案例：从模型导入到数据驱动的完整落地路径

VSCode中Claude Code插件报API Error 400：message[1] has invalid role: system——把settings改到TaoToken的排查路径

今日更新

NetSpot 实战：用信道分析与频宽优化解决 Wi-Fi 卡顿

C++ split() 字符串分割的五种实现与性能实测

R语言坐标轴范围设置：从xlim/ylim到coord_cartesian的完整指南

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？