基于机器学习的滑坡易发性区划与降雨预警模型构建-北京尧图网络

简介一份面向地质灾害防治、机器学习应用研究者的博士学位论文以重庆市奉节县为研究区系统开展滑坡易发性区划与降雨诱发滑坡预报预警建模。内容涵盖2001—2016年1520个滑坡数据及地质、地形、降雨等多源因子处理利用逻辑回归、人工神经网络、随机森林构建易发性模型并结合有效降雨量提出时空联合预警阈值还配套开发了预报预警系统为山区县域防灾决策提供完整技术路线。资源为PDF格式共1个文件压缩包大小约16.17MB属于可直接阅读的完整学位论文。已有1239人浏览学习适合从事滑坡灾害研究、机器学习应用或区域风险评估的高校师生、科研人员及工程师参考可快速获取样本处理思路、评价指标体系和模型调优方法具有较强的方法借鉴价值。1. 为什么滑坡易发性区划需要机器学习重庆奉节县的地灾台账里20012016 年积累了 1520 条滑坡记录多数集中在雨季。当一个县域的隐患点要靠人工巡查覆盖时排查速度往往赶不上降雨推进的速度。滑坡易发性区划要解决两个问题历史滑坡与地形、地质、人类扰动等静态因子呈现什么规律在不同易发性背景上多少前期降雨会触发失稳。前者是空间二分类后者是时间阈值判定恰好都适合机器学习建模。逻辑回归适合做可解释基线BP 神经网络能逼近非线性关系随机森林在因子共线性和样本不均衡面前更稳。这套流程可以直接在 scikit-learn 上复现。2. 影响因子栅格化与滑坡样本集构建2.1 从 16 个指标里选什么为什么滑坡发育是内因和外因共同作用的结果。内因决定坡体有没有失稳条件包括地形地貌、地层岩性、地质构造外因决定什么时候触发主要是降雨和人类工程活动。论文里将评价指标分成地形地貌、地质条件、环境条件、人类工程活动、诱发因子共 5 类具体是高程、坡度、坡向、坡位、微地貌、地面曲率、地形湿度指数、岩性、距断层距离、倾坡类型、NDVI、距水系距离、土地利用类型、距道路距离、距房屋建筑距离、多年平均降雨量。这些指标不是拍脑袋定的。比如坡位和微地貌描述的是坡体在沟谷、山脊、陡坎上的具体位置直接关系到汇水条件和临空面倾坡类型描述岩层倾向与坡向的关系顺向坡比反向坡更容易沿层面滑动距房屋建筑距离反映人工切坡和加载的影响。我一般会先按这个结构整理一张指标清单表把每个指标的数据来源和处理方式写清楚后面做栅格统一和采样时才不会乱。类别指标常见处理方式地形地貌高程、坡度、坡向、坡位、微地貌、剖面曲率、TWI由 30 m DEM 派生TWI 需先填洼再计算地质条件岩性、距断层距离、倾坡类型地质图矢量化转栅格断层做欧氏距离环境条件NDVI、距水系距离、土地利用遥感反演与 GIS 距离分析人类活动距道路距离、距房屋建筑距离道路和房屋图层做缓冲区诱发因子多年平均降雨量气象站插值常用IDW或协同克里金2.2 正负样本构建与栅格采样代码建模第一步是把滑坡点变成监督学习的训练集。正样本是 1520 个滑坡点负样本不能随便在全县撒点。常见做法是在非滑坡区域随机生成等量样本点并且与正样本之间保持最小距离否则模型学到的其实是“滑坡点周边就是滑坡”这种空间自相关而不是因子与滑坡的真实关系。另一个容易出错的地方是坐标参考系滑坡点、DEM、地质图来自不同部门投影和基准面经常对不上。# 统一研究区所有栅格的投影和分辨率30 米分辨率适合县域尺度 gdalwarp -t_srs EPSG:32649 -tr 30 30 -r bilinear dem_raw.tif dem_30m.tif # 从 DEM 派生坡度-p 参数让坡度的单位是度而不是百分数 gdaldem slope dem_30m.tif slope_deg.tif -p gdaldem aspect dem_30m.tif aspect_deg.tifimport rasterio import pandas as pd # 正负样本分别存放结构都是 lon, lat 两列 pos pd.read_csv(landslide_positive.csv) neg pd.read_csv(landslide_negative.csv) samples pd.concat([pos, neg], ignore_indexTrue) samples[label] [1] * len(pos) [0] * len(neg) # 因子栅格路径和采样字段名一一对应一次遍历拼接特征表 factor_files { elev: dem_30m.tif, slope: slope_deg.tif, aspect: aspect_deg.tif, ndvi: ndvi.tif, rain: rain_mean.tif, } for name, path in factor_files.items(): with rasterio.open(path) as src: pts list(samples[[lon, lat]].itertuples(indexFalse, nameNone)) samples[name] [v[0] for v in src.sample(pts)]src.sample()接收坐标序列返回每个坐标处的栅格值内部会自动完成像素坐标换算省去了手写仿射变换的步骤。参数要注意两点一是坐标顺序是 (lon, lat) 而不是 (lat, lon)二是所有栅格必须已经统一到同一投影否则采样结果整体错位。类别型因子如岩性、土地利用、倾坡类型不能直接这样灌进模型要先做独热编码或者按滑坡密度重新映射成数值这一步会在模型精度上体现得非常明显。2.3 滑坡密度法做单因子筛选因子上线前先做一轮单因子检验。常见做法是把连续因子按分位数或等间隔分成 510 个区间统计每个区间的滑坡密度滑坡密度区间内滑坡点数 / 区间面积如果滑坡密度随因子值单调上升或者有明显的单峰说明这个因子携带分层信息如果各区间密度接近相等这个因子对区分易发性就没有贡献可以考虑淘汰。论文对高程、坡度、坡向、距断层距离、NDVI、距道路距离等 16 个因子都做了这类统计结论也符合常识滑坡集中在中低海拔、坡度 10°40°、顺向坡以及距道路和房屋较近的区域。单因子检验通过后再进入多因子建模这一步能提前发现因子冗余避免把两个高度相关的变量同时送进逻辑回归。3. 逻辑回归、BP 神经网络与随机森林的易发性区划模型3.1 三种模型的建模路径与可调超参数三个模型的数学基础完全不同。逻辑回归在特征空间里拟合一个线性决策边界输出的是滑坡发生概率可解释性最好但面对因子之间的非线性交互时表达能力偏弱。BP 神经网络通过隐层激活函数把特征映射到高维空间能逼近复杂的非线性关系代价是超参数多、容易过拟合。随机森林由多棵决策树组成每棵树在随机抽样的样本和随机抽样的特征子集上训练最终结果取多数投票天然对异常值和共线性不敏感。在实际项目中我是按“先建基线再上复杂模型”的顺序来做的。逻辑回归作为基线确认因子体系至少能学到区分信息BP 神经网络看是否有非线性增益随机森林则作为表格数据场景下默认的首选模型。三个模型在 scikit-learn 里分别对应 LogisticRegression、MLPClassifier 和 RandomForestClassifier最初跑一组默认参数拿到基线精度再进入调参环节。模型主要可调超参数调参关注点逻辑回归C、penalty、solverC 越小正则化越强特征共线性强时优先 L2BP 神经网络hidden_layer_sizes、alpha、learning_rate_init隐层节点数和 alpha 一起决定模型容量与过拟合的平衡随机森林n_estimators、max_depth、min_samples_leaf、max_features深度和叶子节点数比树的数量对精度影响更大3.2 用贝叶斯优化替代网格搜索网格搜索是穷举所有超参数组合三个参数各取 10 个候选值就是 1000 组5 折交叉验证意味着做 5000 次模型拟合。在随机森林和神经网络上跑这样一轮耗时不可接受。贝叶斯优化用概率代理模型拟合“超参数到模型效果”的函数每次迭代选取最有提升潜力的参数组合去评估论文中这个切换直接带来约 40 倍的速度提升而且最终模型精度不低于网格搜索结果。from skopt import BayesSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedKFold rf RandomForestClassifier(random_state42) param_space { n_estimators: (100, 500), # 树的数量整型区间 max_depth: (4, 20), # 每棵树的深度上限 min_samples_leaf: (1, 10), # 叶节点最少样本数 max_features: (0.3, 0.9), # 每次分裂随机采样的特征比例 } opt BayesSearchCV( rf, param_space, n_iter40, # 只评估 40 组参数 cvStratifiedKFold(n_splits5, shuffleTrue, random_state42), scoringroc_auc, n_jobs-1, ) opt.fit(X_train, y_train) print(opt.best_params_)n_iter是贝叶斯优化的核心参数它决定了实际训练的模型数量40 次迭代在三维参数空间里已经能获得不错的近似最优解。max_features设成比例时每次分裂只从总特征里随机抽一部分做候选这会引入额外随机性但能显著降低树之间的相关性是随机森林最重要的防过拟合手段。scoringroc_auc与论文中用 ROC 曲线挑选模型的思路一致比用默认 accuracy 对正负样本比例更不敏感。3.3 递归特征消除与特征重要性贝叶斯优化找到的是给定特征集合下的最优参数特征集合本身还需要另外处理。递归特征消除的做法是反复训练模型、淘汰对预测贡献最小的特征再在剩余特征上重复最后用交叉验证决定保留多少个特征。RFECV 把筛选过程自动化了每一步基模型就用前面调好的随机森林。from sklearn.feature_selection import RFECV selector RFECV(estimatorrf_best, step1, cv5, scoringroc_auc) selector.fit(X_train, y_train) # True 表示该因子被保留False 表示被淘汰 print(pd.Series(selector.support_, indexfactor_names))step1表示每轮淘汰一个特征特征数量不多时这样最稳妥cv5与模型训练时保持同一折法。淘汰后如果测试集 AUC 下降不明显说明被删掉的特征是冗余信息。论文中对 16 个因子都做了统计相关性分析这里用 RFECV 是从模型收益的角度再做一次筛选两者视角不同但目标一致。我通常还会把随机森林的 feature_importances_ 打印出来对齐一下若出现重要性与单因子滑坡密度结论矛盾的地方优先查数据问题而不是模型问题。3.4 通过 ROC 曲线比较三个模型ROC 曲线画的是不同分类阈值下真正例率与假正例率的关系AUC 是曲线下面积值越大说明模型在“不误报”的前提下“抓滑坡”的能力越强。三个模型调完参数后要把它们的最优模型在同一个测试集上的 ROC 曲线叠在一张图里看。论文结论是随机森林的曲线下面积最大结果也更符合实际滑坡分布高易发区集中连片与沟谷、顺向坡和人类活动密集区高度重合。模型AUC 表现区划结果形态逻辑回归三者中最低分区平滑过度带大块呈中易发BP 神经网络中等细节丰富局部零散高易发斑块偏多随机森林最优高易发区集聚分布与历史滑坡点套合最好这里有一个 5 年以上经验的人才会注意到的坑滑坡点存在空间自相关同一个滑坡体上可能采集了多个点如果随机划分训练集和测试集测试集里会混入训练集附近甚至重叠区域的样本导致 AUC 虚高。我在做这类空间建模时通常改用分块交叉验证按 2 km×2 km 网格把研究区切块整块放进训练集或测试集在论文那种县域尺度数据上分块验证的 AUC 一般要比随机划分低 0.030.06这个差距是空间预测的真实水平。4. 前期有效降雨量模型与不同易发区的预警阈值4.1 当日降雨为什么不能单独作为判据滑坡不是“今天下雨今天就滑”的即时响应。雨水要先入渗沿裂隙和孔隙向下运动抬升地下水位、软化滑动带这个物理过程通常需要数小时到数天。奉节县的滑坡记录里相当一部分发生在连续降雨的后期或者停雨之后的 12 天单看当日降雨量很容易漏掉这一批。正确的做法是把“滑坡发生日”作为终点回溯前 1、3、5、10 天的累计降雨量逐一统计它们与滑坡发生的相关程度选择区分度最高的时间窗口。论文最终使用的就是前 10 天窗口这属于比较通用的区间。4.2 衰减系数 α 与有效降雨量计算前期降雨的每一场雨对滑坡的贡献并不相同越接近滑坡发生日贡献越大更早的雨会通过蒸发、径流和下渗逐渐消退。有效降雨量模型的核心就是给每一天的降雨分配衰减权重R_e R_0 α·R_1 α²·R_2 ... αᵈ⁻¹·R_(d-1)其中 R_0 是当日的降雨量R_1 是前一天的降雨量依此类推d 是回溯的天数α 是衰减系数物理意义是降雨在地表和土体中的留存率。α 取 0.7 表示前一天 100 mm 的雨相当于当天 70 mm 的贡献α 取 0.9 则说明水分消退很慢、前期雨量占比高。湿润气候和厚层土体通常对应较大的 α干旱或渗透性强的岩土地区 α 更小取值范围一般在 0.70.9 之间。这个 α 不靠拍脑袋用历史滑坡数据和对应的雨量序列搜出来。具体做法是遍历 0.500.95 的候选值对每个值计算所有滑坡发生日的有效降雨量同时随机抽取同期未发生滑坡的日期作为对照用统计检验衡量两组分布的分离程度import numpy as np from scipy.stats import ks_2samp # daily_rain: 每个日期的前 10 天降雨序列shape(n, 10) # label : 1滑坡日0非滑坡日 best_alpha, best_stat 0.8, 0.0 for alpha in np.arange(0.50, 0.96, 0.01): weight alpha ** np.arange(10)[::-1] # 越近的雨权重越大 r_eff daily_rain weight # 矩阵乘法得到每个日期的有效降雨 stat, _ ks_2samp(r_eff[label 1], r_eff[label 0]) if stat best_stat: best_alpha, best_stat alpha, stat print(f最优衰减系数: {best_alpha:.2f})KS 检验统计量衡量两个分布的最大垂直距离值越大表示滑坡日和非滑坡日的有效降雨量重叠越少也就是这个 α 对样本的区分能力越强。np.arange(10)[::-1]生成的是[9,8,...,0]的顺序正好让第 0 天权重最大、第 9 天最小。如果换成 α0.8、回溯 10 天权重序列就是0.8^9, 0.8^8, ..., 1.0滑窗前 1 天的 20 mm 雨会被记为 16 mm前 3 天的 20 mm 则只剩约 6.5 mm。4.3 易发性等级与降雨阈值的三维耦合有效降雨量模型给出了时间维的失稳概率易发性区划给出空间维的失稳背景两者需要耦合才能变成预警等级。论文的做法是先把预警分为蓝、黄、橙、红四个等级对不同易发性等级区域分别统计历史滑坡发生前 10 天有效降雨量的分布找出分位数对应的阈值再叠加当日降雨量判断是否需要上调预警等级——当日雨量大时即使前期有效降雨未达阈值也应至少发布黄色预警这解决了雨季突发大暴雨时“前期无雨不预警”的漏报问题。阈值标定要特别注意样本量的平衡。奉节县高易发区滑坡样本多阈值有统计意义低易发区滑坡样本很少算出来的阈值不稳定。我在类似项目里会先对低易发区直接沿用中易发区阈值并在系统里标记为“参考值”等后续补充滑坡记录再用更新后的数据重算。另外如果发现某个易发等级下所有历史滑坡的有效降雨都落在同一区间说明这个等级阈值可能需要再细分比如按坡向或岩性拆开统计。5. 预警系统的工程化落地与 2017 年案例回放5.1 模块分层与阈值参数表预警系统的功能结构可以拆成四层数据层用空间数据库管理滑坡点、因子栅格和日雨量模型层封装机器学习建模能力支持重新训练和易发性分区计算层读入雨量数据按衰减系数公式计算前期有效降雨业务层把易发区等级和雨量阈值做耦合判断输出预警等级并可视化。模型训练不是每次启动都重跑训练好的随机森林模型序列化保存结果系统日常运行时只做预测。阈值和衰减系数不要写死在代码里。它们应该是一张可配置的参数表α、回溯天数、各易发区等级对应的有效降雨阈值都支持人工修订每次修改记录到变更日志里。这样当地质条件或数据积累发生变化时业务人员可以直接调整不需要改代码重新部署。5.2 用 2017 年案例回放验证预警结果论文用 2017 年奉节县的 5 个滑坡案例做了沉淀验证包含大面、何家湾、火石滩、渣口石、新浦计算各案例发生前 10 天有效降雨并结合当日降雨后最终给出的预警等级都是黄色到橙色与现场巡查记录的变形加剧情况总体吻合。这个验证流程在工程上属于典型的历史回放测试但回放时有一个容易忽略的细节不能只算滑坡发生日那一天因为这样永远看不到“空报”。正确的做法是把 2017 年整年的日雨量逐日滚动输入预警模型计算每一天的预警等级统计黄色以上预警总共发出过多少次、其中对应滑坡发生的比例是多少。如果一年里黄色以上预警发了三个月但只滑了 5 次说明阈值偏低、空报率高需要上调前期有效降雨阈值如果滑坡发生日当天的预警等级普遍低于现场实际险情说明阈值偏高需要下调。实际应用时还可以先跑一遍 20012016 年的历史雨量数据做交叉校准让系统上线前就拿到一份完整的空报率基线。本文还有配套的精品资源点击获取

基于机器学习的滑坡易发性区划与降雨预警模型构建

相关推荐

本地大模型网关CLI实战：从Ollama到vLLM的统一管理

基于H∞控制的整流器鲁棒性设计与Simulink实现

电动汽车充电站投标策略与电力市场博弈优化

更多资讯

华为S5720交换机基础配置：从ENSP实操到VLAN三层互通

Django开发宠物信息管理系统的架构与实践

Linux文件完整性检查：cksum命令实用指南

国产系统数据库客户端DBeaver安装配置指南：统信UOS与麒麟实战

Python字符串比较与函数参数传递详解

NAS不只是存储：五款效率应用打造家庭AI服务器

今日更新

AWS无服务器应用开发指南：从Lambda到SAM的架构与实践

SpringBoot+Vue人事系统实战：解决HR数据断点与事务一致性

MATLAB手写紧束缚模型计算石墨烯能带结构

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？