基于DBSCAN的风电负荷场景削减方法及Matlab实现-北京尧图网络

风电出力的间歇性和负荷需求的波动性是电力系统不确定性分析里最让人头疼的两件事。常规做法是用蒙特卡洛或者拉丁超立方抽出一大堆可能的风电-负荷场景比如生成上千条24小时时序曲线然后直接扔进随机规划模型里算。但问题在于场景一多优化模型的计算量会呈指数级膨胀一台普通电脑跑两阶段随机规划可能几小时都出不来。场景削减就是专门干这个的从一千个场景里挑出二三十个有代表性的同时给每个场景赋上合适的概率让削减后的场景集在概率分布上尽可能逼近原始场景集。DBSCAN密度聚类做场景缩减是这几年新能源并网分析里被反复验证的一种思路它不需要像K-means那样提前指定缩减成多少个场景而是根据场景在特征空间里的密度自然聚成若干簇再从每簇里挑代表场景。这篇博客就用Matlab把这套方法从原理到代码完整过一遍适合正在做随机优化、电力系统可靠性分析或者新能源消纳研究的朋友参考。1. 场景削减解决什么问题以及为什么必须做1.1 大量场景带来的计算负担风电和负荷的不确定性本质上是连续分布但优化模型没法直接处理连续分布只能把它离散成有限个“可能发生的情景”。比如风电出力可以看作服从某种概率分布的随机过程负荷则带有明显的周期性加随机扰动。工程上最通用的做法是蒙特卡洛抽样从风速分布里抽风速再用风功率曲线转成出力负荷就按典型日曲线叠加随机偏差一套抽样下来就是一条完整的场景。抽样几千次就生成几千条场景曲线。这些场景之间的差异体现的是未来可能出现的各种运行状态有大风天、小风天、负荷早高峰、晚高峰还有极端天气下风电几乎为零但负荷极高的恶劣组合。覆盖得越全面随机规划结果越可靠但代价是计算规模急剧上升。以两阶段随机规划为例场景数翻一倍变量和约束的数量几乎线性增长但求解器的迭代次数和内存占用往往是超线性的。1000个场景的机组组合问题在普通台式机上用商业求解器跑经常是几十分钟起步如果场景到5000个以上基本就不太适合做反复的参数敏感性分析了。场景削减的意义就是把“重复度很高”的场景合并掉。比如1000个场景里可能有七八十个场景形状很接近都是典型的小风日加平缓负荷它们对应的决策变量和成本差不了多少与其全部保留不如只留一个代表并给这个代表赋上“这七八十个场景总共出现的概率”。这样计算规模降下来概率分布特征还在这就是场景缩减的核心价值。1.2 场景削减后的效果怎么衡量很多人做场景削减只看“场景数量少了”却不关心缩减后统计特性有没有跑偏。实际上评判一套削减方法好不好核心指标是问削减前后的场景集在概率分布上到底有多接近。实操中有几个常用的量化方式。第一是均值曲线对比分别画出削减前后所有场景的平均风电曲线和平均负荷曲线看两者是否几乎重合。第二是方差或者标准差对比尤其看每个时段的风电出力波动范围是否保持一致。第三是更严格的分布一致性检验比如对每个时段的风电出力分布做KS检验或者计算两个场景集合之间的KL散度。KL散度越小说明削减后的场景集对原始分布的“信息损失”越小。只看曲线形状是不够的。场景削减的最终服务对象是随机优化模型所以还有一种更实用的验证方式把原始场景集和削减后的场景集分别代入同一个优化问题比较目标函数值比如系统总运行成本的差异。如果削减后算出来的期望成本和用全部场景算出来的期望成本相差在百分之几以内说明缩减没有丢失关键信息。这个验证思路在学术论文里叫“out-of-sample”测试实际项目里非常管用因为它是直接对着业务的最终目标来检验方法好坏的。2. 为什么选DBSCAN而不是K-means来做场景缩减2.1 DBSCAN的三个点类别与两个关键参数DBSCAN的全称是Density-Based Spatial Clustering of Applications with Noise基于密度的空间聚类。它的基本思想很简单如果一个点周围足够密就把它和周围这些点聚成一簇如果某个点周围很稀疏那它要么是某个簇的边界点要么就是噪声点。具体而言DBSCAN把每个点分成三类。核心点是在给定半径eps范围内邻居数量不少于MinPts的点边界点是在某个核心点的邻域内但自己的邻域内样本数不足MinPts的点噪声点是既不是核心点也不是边界点的点。聚类过程就是从一个核心点出发不断把邻域内的点吸收进来边界点跟着扩展噪声点则被排除在簇之外。这里eps是邻域半径MinPts是最小邻居数两个参数一起决定了“密度”的判定标准。用生活化的类比来说想象一群人站在广场上聊天。人群密集的地方形成几个圈子圈子中央聊得最火热的人就是核心点站在圈子边缘偶尔搭几句话的人是边界点而旁边独自闲逛、不属于任何圈子的人就是噪声点。DBSCAN做的事就是自动告诉你广场上有几个圈子圈子的边界在哪里以及哪些人是真正的“独行侠”。2.2 DBSCAN与K-means等划分式聚类的对比K-means做场景缩减是最常见的做法逻辑也很直观把1000个场景聚成20类每类选一个中心场景概率按类内样本占比赋。但K-means有几个在场景缩减场景下比较明显的短板。第一K值必须事先给定。实际工程里你一开始并不知道1000个风电-负荷场景到底该缩成20个还是50个只能靠经验试。DBSCAN不需要预设簇数量它根据数据自身的密度分布自动决定聚成几类这对“探索数据长什么样”的阶段特别友好。第二K-means假设聚类是凸的球形结构而风电-负荷场景在特征空间里的分布往往不是规则球形的。典型天气场景可能聚集得很紧凑极端场景则零散分布在远离中心的地方。K-means会把这种细长、不规则或者密度不均的结构强行切碎得到的结果物理意义不清晰。第三K-means对所有点一视同仁地分到某个簇里噪声点也会被强行并到最近的类中心导致极端场景被“平均”进普通场景里削弱了极端场景的代表性。DBSCAN天然规避了这些问题。它不需要预设簇数可以识别任意形状的聚类还能明确把低密度区域的点标记为噪声。在场景缩减这个任务里DBSCAN的“噪声点”恰恰对应那些数量少但对系统运行影响大的极端场景比如风电骤减的日场景、负荷尖峰叠加低出力的场景。这些场景往往出现在特征空间的尾部区域密度很低但它们在可靠性分析里极其重要。K-means可能把它们平均得不疼不痒DBSCAN则可以让你单独审视它们。2.3 什么情况下适合用DBSCAN做场景缩减DBSCAN不是万能的。如果原始场景集是一堆维度极高的时序曲线而且数据在空间里分布得比较均匀、没有明显的稠密区与稀疏区DBSCAN的效果会比较差因为“密度”这个概念在均匀分布的数据上根本立不起来。不过风电-负荷场景恰好相反它的物理特性决定了场景一定存在明显的聚集结构。典型的天气类型就那么几种负荷模式也就工作日、周末、节假日这么几类组合起来自然形成若干个高密度中心而极端天气对应的场景数量稀少、密度低。这种“稠密区稀疏尾”的分布形态几乎就是为DBSCAN量身定做的。另一个需要注意的前提是距离度量要合理。DBSCAN聚类结果完全依赖点与点之间的距离定义如果距离算得不合理密度判断就失去了意义。对于风电-负荷时序场景比较常用的是欧氏距离也可以根据风电和负荷的重要性加权。时序对齐的效果如果不好可以尝试动态时间弯曲距离DTW但DTW的计算成本在几千个高维场景下会非常高实际项目里一般先用欧氏距离试效果不行再考虑更复杂的度量。3. Matlab实现全过程生成场景、聚类、挑代表、验证效果3.1 风电-负荷联合场景的生成与维度设计先交代一下输入的格式。假设我们生成N个联合场景每个场景由一条风电出力时序和一条负荷时序拼接而成。风电出力序列长度为24小时负荷序列长度也是24小时那么单个场景就是一个1×48的向量前24维是风电曲线后24维是负荷曲线。整个场景集就是一个N×48的矩阵。场景生成这一步跟DBSCAN本身无关但直接影响聚类质量。比较常规的做法是风速用两参数Weibull分布抽样再经风功率曲线转换得到风电出力负荷则取典型日负荷曲线叠加一个均值零、方差随时段变化的随机扰动。如果想做得更精细还可以用ARIMA时间序列模型或者从历史数据里直接bootstrap抽样。建议场景数至少在500到2000之间太少聚类结果不稳定太多则计算距离矩阵会占用较多内存。以1000个场景、48维为例距离矩阵约1000×1000完全可以接受。生成场景之后有一个关键预处理归一化。风电出力和负荷的量纲不一样风电容量可能是几百兆瓦负荷可能是几千兆瓦如果不做归一化距离计算会完全被负荷主导。风电那24维的差异几乎是“噪声”聚类结果基本等于只对负荷曲线做聚类风电特征全丢了。我的做法是把风电出力除以其装机容量把负荷除以峰值负荷都归一到0到1的范围然后再拼成一个48维向量。这一步看似简单但对聚类结果的影响非常大后面会专门再说。3.2 数据预处理与距离矩阵计算在Matlab里归一化和拼装可以用简洁的向量化操作完成。假设原始数据是风电矩阵windDataN×24和负荷矩阵loadDataN×24每行是一个场景% 归一化风电按装机容量负荷按峰值 windNorm windData / installedCapacity; loadNorm loadData / peakLoad; % 拼接成联合场景矩阵 scenarios [windNorm, loadNorm];然后计算两两之间的距离矩阵。Matlab里最方便的是统计与机器学习工具箱的pdist2可以指定多种距离度量。欧氏距离是最常用的选择也有项目里用“平方欧氏距离”来放大大偏差场景的影响但习惯上还是用标准欧氏距离更稳。% 计算场景间欧氏距离矩阵 D pdist2(scenarios, scenarios, euclidean); % 对角线置为大数避免自己成为自己的邻居 D(logical(eye(size(D)))) inf;距离矩阵是整个DBSCAN实现的基础。如果数据量到了几千个场景、上百维pdist2的内存开销要留意N5000时距离矩阵就有5000×5000×8字节约200MB还能接受N10000就接近800MB了这时候需要分块计算或者改用稀疏处理。一般场景缩减的场景量都在2000以内全量矩阵没有问题。3.3 eps的选取k-距离图的画法与判读DBSCAN最麻烦的一步不是聚类本身而是确定eps和MinPts这两个参数。MinPts相对好定工程上有个经验范围是5到10。对48维的场景向量如果MinPts取太小比如2到3聚类结果会非常碎片化几乎每个点都自成一簇取太大簇的合并程度又会过高。我个人的习惯是先按经验取MinPts6然后用k-距离图来定eps。这里k一般取MinPts-1或者干脆取MinPts差别不大。k-距离图的思路很简单对每个场景点计算它到第k个最近邻居的距离把这个距离称为这个点的k-距离。把所有点的k-距离从小到大排序然后画成曲线。曲线会出现一个明显的“拐点”在拐点之前k-距离很小且增长缓慢说明大量点处在稠密区域过了拐点之后k-距离急剧增大说明进入了稀疏区域。把eps选在拐点对应的k-距离附近聚类效果通常比较理想。Matlab实现如下k 6; % 与MinPts保持一致或相关 n size(scenarios, 1); kDist zeros(n, 1); for i 1:n sortedDist sort(D(i, :), ascend); kDist(i) sortedDist(k); end % 排序并绘制k-距离图 kDistSorted sort(kDist, ascend); figure; plot(kDistSorted, LineWidth, 1.5); grid on; xlabel(场景点序号按k-距离升序); ylabel(k-距离); title(k-距离图用于确定DBSCAN的eps);画出来之后人工看拐点的纵坐标值把eps设置在那个位置。这个过程需要一点经验。我常用一个辅助手段画完图后顺便输出每个候选eps对应的簇数和噪声比例人为比较哪个组合更合理。看曲线的拐点是最快的但高维场景下拐点有时不明显后面会讲到怎么处理。3.4 DBSCAN聚类主流程的Matlab代码Matlab的统计和机器学习工具箱自带dbscan函数直接调用很方便% 使用统计工具箱自带的dbscan [idx, corePoints] dbscan(scenarios, eps, MinPts);但这个函数需要工具箱授权。考虑到不少同学手里可能是没有统计工具箱的基础版Matlab我建议自己实现一个基于距离矩阵的DBSCAN版本逻辑清晰也不需要额外工具箱。只要上面算好了距离矩阵D下面的自定义函数可以直接复用function clusterIds myDbscan(D, eps, minPts) n size(D, 1); clusterIds zeros(n, 1); % 0表示尚未归类 visited false(n, 1); currentCluster 0; for i 1:n if visited(i) continue; end visited(i) true; neighbors find(D(i, :) eps); if numel(neighbors) minPts % 暂定为噪声后续可能被其他核心点吸收 clusterIds(i) -1; else currentCluster currentCluster 1; clusterIds(i) currentCluster; seedSet neighbors; % 用队列方式扩展簇 while ~isempty(seedSet) j seedSet(1); seedSet(1) []; if ~visited(j) visited(j) true; neighborJ find(D(j, :) eps); if numel(neighborJ) minPts seedSet union(seedSet, neighborJ); end end if clusterIds(j) 0 || clusterIds(j) -1 clusterIds(j) currentCluster; end end end end end调用方式很简单minPts 6; eps 0.32; % 由k-距离图确定 clusterIds myDbscan(D, eps, minPts);函数返回后clusterIds里的每个元素对应一个场景的簇编号-1是噪声点。我建议输出几行基本信息包括簇的数量、每个簇的大小、噪声点占比。如果噪声点占比超过30%多半是eps取得太小或者MinPts取得太大需要回头调整参数。3.5 类内代表场景选取与概率赋值聚类完成之后下一步是从每个簇里选取代表场景并计算每个代表场景的概率。这里的核心问题是代表场景到底是取“类内均值点”还是取“到其他点的距离和最小的真实场景点”我的建议是选真实场景点而不是均值点。原因在于均值点会把风电曲线和负荷曲线的细节抹平尤其会削弱爬坡和尖峰特征。随机优化里恰恰是这些特征影响机组调度和备用容量的决策一旦被平滑掉削减后的场景集虽然统计上看着很接近原始均值但代入优化模型后结果会有偏差。选真实场景点作为代表能最大程度保留原始场景的物理形态。具体做法是对每个簇找出“到簇内其他所有点距离之和最小”的那个点这个点相当于密度上的伪中心。代码实现如下numClusters max(clusterIds(clusterIds ~ -1)); representativeIdx zeros(numClusters, 1); representativeProb zeros(numClusters, 1); for c 1:numClusters idx find(clusterIds c); if isempty(idx) continue; end % 计算簇内每个点到其他点的距离总和 subD D(idx, idx); [~, localIdx] min(sum(subD, 1)); representativeIdx(c) idx(localIdx); representativeProb(c) numel(idx) / n; end % 提取缩减后的场景集 reducedScenarios scenarios(representativeIdx, :);这里的D用的是之前算好的全量距离矩阵取idx对应行列的子矩阵即可。概率赋值的逻辑是每个代表场景出现的概率等于它所在簇内的场景数量除以场景总数。这样1000个场景缩减到比如21个场景之后21个代表场景的概率加起来恰好等于1。如果是联合场景可以分别把风电曲线和负荷曲线拆分出来便于后续绘图和代入优化模型。概率赋值有个容易被忽略的细节噪声点怎么处理如果把噪声点全部丢弃概率之和会小于1需要做一次重归一化。但更合理的方法是尽量调节参数让噪声点少一些或者把噪声点对应的特殊场景也纳入考量不要简单抛弃。3.6 削减效果的可视化与统计验证场景削减做完后不能直接拿去用必须先验证一下削减前后统计特性是否保真。我把验证过程分成可视化验证和数值验证两部分。可视化部分最直观的是画置信带对比。原始场景集和缩减后的场景集分别画出每个时段的均值线以及10%到90%分位数的置信带。两个置信带基本重合说明缩减效果不错。Matlab画图代码大致如下T 24; % 拆分风电和负荷假设前24维是风电后24维是负荷 origWind scenarios(:, 1:T); origLoad scenarios(:, T1:end); redWind reducedScenarios(:, 1:T); redLoad reducedScenarios(:, T1:end); % 画风电均值与分位带 figure; plot(1:T, mean(origWind), r-, LineWidth, 2); hold on; plot(1:T, mean(redWind), b--, LineWidth, 2); fill([1:T fliplr(1:T)], ... [prctile(redWind,10) fliplr(prctile(redWind,90))], ... b, FaceAlpha, 0.15); legend(原始场景均值, 削减场景均值, 削减场景10%-90%带);数值验证部分我常用三个指标。第一是每个时段风电均值的最大相对偏差第二是每个时段风电标准差的最大相对偏差第三是全场场景分布的KL散度或者KS检验p值。用KL散度时要注意需要先对场景出力做离散化分箱然后比较两个概率直方图的差异。计算量不大但反映的信息量很足。还有一个非常推荐的验证手段也是前面说的“out-of-sample”测试把原始场景集和削减后的场景集分别丢进同一个优化模型里比较期望运行成本。如果成本差异在3%以内基本可以放心用缩减后的场景做后续分析。这个方法在实际工程里最有说服力因为领导或者甲方关心的不是算法细节而是“你的结果跟完整计算差多少”。4. 参数调优、踩坑实录与实战建议4.1 归一化方式会成为聚类结果的“隐形主导者”这是我在实际项目里踩过最深的坑。最初我做风电-负荷联合场景缩减时没有把风电和负荷分别归一化直接把MW单位的两个序列拼在一起算距离。结果聚类出来的簇几乎全被负荷形态主导风电特征在簇划分中几乎不起作用。后来改成把风电容量的变化范围压到0到1、负荷峰值压到0到1之后聚类结果才呈现出清晰的风电主导簇和负荷主导簇。更精细一点的做法是给风电和负荷分别设置不同的权重。有些业务场景里风电波动对系统安全的影响大于负荷波动可以在距离计算时给风电维度乘一个大于1的权重系数。pdist2支持自定义距离函数或者更简单的是在拼接场景矩阵之前把风电序列乘以权重系数再一起算欧氏距离。总之归一化这一步是DBSCAN场景缩减的“地基”地基不牢后面全白费。4.2 k-距离图拐点不明显时用“参数扫描”代替肉眼判断风电-负荷场景在高维空间里分布往往比较连续k-距离图不像教科书里画的那样有一个锐利的拐点而是一段平缓的弧线。这时候靠肉眼找拐点很容易翻车我的办法是做一次参数扫描把eps在一个合理范围内等间距取20到30个值对每个值跑一遍DBSCAN记录簇数量和噪声点比例然后画出两个趋势图。理想情况下簇数量曲线会在某个eps区间出现一个“平台期”。比如eps从0.25到0.38之间簇数量一直在18到22之间波动变化不大那这个区间就是稳定的聚类参数区取中间值作为最终eps比较合适。如果eps稍微一动簇数量就从10跳到40说明数据在这个尺度下聚类结构不稳定可以考虑先降维或者换距离度量。参数扫描虽然多跑几十次聚类但DBSCAN本身计算量不大以1000个场景为例每次聚类不到一秒扫30个eps参数也就十几秒完全值得做。4.3 噪声点太多或太少分别意味着什么该怎么调噪声点比例是判断DBSCAN参数合理性的重要信号。如果噪声点占比超过30%通常说明eps偏小或者MinPts偏大导致很多真实场景被当成孤立点。这时可以适当增大eps或者把MinPts从6降为4再试试。反之如果噪声点占比几乎为0而且簇数量也很少说明eps偏大所有场景都被揉进了几个大类里场景削减的分辨率不够极端场景被吞进普通场景堆里了。我个人比较倾向的平衡状态是噪声点比例在10%到20%之间。这些噪声点不只是“排除项”它们往往就是值得单独关注的极端场景。实际工程中可以把噪声点单独挑出来用业务经验判断它们是低概率的极端事件还是数据生成过程中的异常样本。如果是前者应该保留并赋予较小的概率如果是后者则可以直接删除。DBSCAN把这两类点混在同一个标签里需要人工介入区分这是它相对K-means多出来的一步工作但也是它更有价值的地方。4.4 与K-means对比的实测体会我在模拟项目X里做过一组对比测试用1000个风电-负荷联合场景分别用K-means固定压缩到21类和用DBSCAN自动聚类到21个簇通过参数调节做到数量接近然后比较两类方法的统计保真度。结果比较有意思K-means削减后的场景集在均值曲线的贴合度上略好一些因为它本质上在做“重心”优化对均值天然友好但DBSCAN在方差不失真的表现上更好特别是尾部场景和极端波动的保持能力明显强于K-means。如果项目重点关注的是系统极端场景下的可靠性DBSCAN更合适如果重点是期望运行成本的准确估计K-means的均值优势会更省心。另一个实用体会是DBSCAN对“场景数量要缩成多少”有一套自动的答案这对前期不确定性分析阶段很有用。但到了工程落地阶段业务方往往要求固定压缩比比如必须缩到30类以匹配既有的计算资源。这种需求下DBSCAN就不如K-means配合轮廓系数选K来得直接。我的做法是把两种方法结合先用DBSCAN跑一遍看天然簇结构和噪声分布得到一个合理的簇数量范围然后把这个范围作为K-means的K值候选集再做精细压缩。用DBSCAN来“探路”用K-means来“落地”效果比单一方法更稳。从实操里总结DBSCAN场景缩减特别适合“先理解数据再定参数”的项目阶段而K-means更适合“压缩比已经给定、只追求均值吻合”的生产环境。拿不准的时候先用DBSCAN跑一遍画个k-距离图你对整个场景集的结构会有一个直观认知这个认知比任何算法的输出都更宝贵。

基于DBSCAN的风电负荷场景削减方法及Matlab实现

相关推荐

Z3求解器实战教程：从安装到约束求解与避坑指南

RTP/RTCP与抖动缓冲区：实时音视频传输的核心机制

CarPlay硬件开发实战：MFi认证、WAC配对与iAP2协议全解析

更多资讯

二进制存档逆向：以字符串引用为锚点拆解XOR混淆与压缩封装

Hypit开源工具：一键提取爆款视频结构，驱动Claude Code与Codex生成脚本

家庭理财管理系统数据库课设：Access建表与VB增删改查完整实现

沿字符串引用还原存档封装：XOR校验压缩层层拆解

GMM-HMM孤立词识别：端侧轻量语音唤醒的确定性实现

Proteus仿真STM32：从点灯到定时器验证的避坑指南

今日更新

声子晶体仿真：三角晶格与六角晶格的能带计算实战

度假村安保定岗定编：岗位梳理、编制测算与排班设计

COMSOL等离子体模块实战：氩气双层DBD仿真建模全解析

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？