PSO优化Kmeans的居民用电行为聚类与Matlab实现-北京尧图网络

前阵子帮一个做能源服务的团队看用电数据他们拿了几百户居民一年的负荷曲线想分分类做差异化运营。第一反应就是Kmeans跑完发现结果很不稳定连续跑几次出来的簇都不一样。后来我换了思路用粒子群算法先把Kmeans的初始中心点搜出来再去做聚类效果立刻稳了。这篇就围绕这个思路写一下标题虽然写的是“Matlb实现”但大家应该能看出来就是Matlab别被拼写带偏。文章里会讲清楚为什么用PSO去碰Kmeans、整个流程怎么搭、代码框架什么样以及实测下来那些平时没人提醒你的坑。1. 居民用电行为分析这个方向为什么卡在聚类上1.1 用电负荷数据长什么样分析到底想解决什么问题居民用电行为分析本质上是从海量的历史负荷数据里把一个区域、一个台区或者一批用户划分成若干典型群体。比如有的用户是“上班族模式”早上和晚上两个高峰白天家里没人负荷几乎贴着零轴有的用户是“全居家模式”白天负荷一直有起伏做饭时间段尤其明显还有的是“夜间活跃型”晚上十点以后用电量反而上去多半是充电桩或者娱乐设备。这些群体背后的用电偏好、电价敏感度、需求响应潜力都不一样。所以做这件事的实用价值非常明确电网侧要做负荷预测、台区精细化管理、有序用电方案售电公司要做套餐设计和需求响应邀约设备厂商要做用户画像和增值服务。无论哪种诉求第一步都是把一个连续的时间序列数据抽象成几个离散的用户类别这就是聚类的用武之地。数据形态上原始表记数据通常是用户ID 时间戳有功功率或者电量。采样间隔从15分钟到1小时不等一天24小时就是96点或24点负荷曲线。一个月下来每个用户就是几千条记录积累一年的话数据量不算小但真正的难点不是量而是如何把曲线压缩成可聚类的特征。1.2 Kmeans本身的“三宗罪”K值、初值、局部最优Kmeans是聚类里最常用的算法逻辑简单Matlab里一行kmeans()就能跑。但实际用在用电数据上麻烦远比你想象的多。第一宗罪是K值怎么定。到底分3类合适还是5类合适通常用的肘部法则、轮廓系数在不同数据集上表现都不稳定有时候画出来的曲线根本没有明显拐点怎么选都像在赌。第二宗罪是对初始聚类中心极其敏感。Kmeans本质上是坐标下降式的迭代优化初始中心一旦选得不好迭代过程很容易陷进局部最优。你拿同一份数据跑两次随机初始化不同结果就有差异。在我实际测试里有些数据集上不同初始化跑出来的簇中心能差出20%以上这直接导致后续的“用户画像”结论没法落地。第三宗罪是迭代方向本质是贪心的。每步把样本点指派到最近的中心再重新计算中心这个过程不会跳出去寻找更好的全局解。数据像用电负荷这种非球形分布明显、还有大量离群点比如某个用户某天开了地暖的情况传统Kmeans的表现就更不可控。所以问题的关键就变成能不能在聚类之前先找到一组质量足够好的初始中心让后续收敛又快又稳这就引出了粒子群算法。2. PSO为何是Kmeans的“神队友”原理与结合思路2.1 粒子群算法的核心逻辑鸟群找食的启示粒子群算法Particle Swarm Optimization, PSO是Kennedy和Eberhart在1995年提出的群体智能算法灵感来源是鸟群觅食。简单说你有一群“粒子”每个粒子代表解空间里的一个候选解它们按照自己的历史最优位置和群体的历史最优位置来更新速度从而在整个空间里搜索最优解。数学上每个粒子有速度和位置两个属性更新公式是v_i w * v_i c1 * r1 * (pbest_i - x_i) c2 * r2 * (gbest - x_i) x_i x_i v_i其中w是惯性权重控制粒子延续之前速度的程度c1、c2是学习因子分别控制向自身历史最优和群体历史最优靠拢的力度r1、r2是[0,1]的随机数。这套机制非常简单没有梯度、没有求导、连目标函数都不要求可导所以你撒一把粒子进解空间它们自己会通过协作和竞争找到高质量的候选解。和遗传算法比PSO没有交叉变异那一套参数更少、实现更快和模拟退火比它天然具有群体并行搜索特性不容易过早停在某个点上。这也是为什么它常被用来和各种传统算法组合——成本低、效果好、代码逻辑直白。2.2 核心设计粒子位置与目标函数怎么定义用PSO优化Kmeans最关键的设计决策是“粒子代表什么”。两种主流做法第一种做法是粒子直接编码聚类中心。如果聚类个数是K数据维度是D那么每个粒子的位置就是一个K×D维的向量也就是把所有簇中心拼在一起。比如K4、D24粒子位置就是96维。目标函数可以设为所有样本到其所属簇中心的欧氏距离之和组内平方和SSEPSO的目标就是最小化这个SSE。第二种做法是粒子编码每个样本的类别标签。这种方法在高维、大样本时粒子长度会爆炸收敛也慢实际中很少用。所以几乎都选第一种。整个流程是PSO在一开始撒一批粒子每个粒子都对应一套K个初始中心粒子不断迭代更新自己的位置最终收敛后取出全局最优粒子所携带的那组中心作为Kmeans的初始中心然后再执行标准Kmeans精炼收敛。2.3 为什么是PSO不是GA、不是DBSCAN、不是自带kmeans有人会问Matlab自带的kmeans函数支持Start,pluskmeans初始化这不已经解决初值问题了吗实测下来kmeans在多数场景比纯随机好但它只保证了“铺开”的初始分布并不保证全局最优。对非常复杂的、重叠度高的负荷形态它同样会掉进局部最优。而PSO是整个解空间里的全局搜索得到的是“近似全局最优的中心配置”。也有人说那直接用DBSCAN不就好了DBSCAN不需要预设K还能识别离群点。但它的两个致命问题是一对密度差异大的数据很吃力居民负荷曲线里密集区和稀疏区混杂调ε阈值能调到怀疑人生二DBSCAN的聚类结果不稳定每次运行顺序不同结果都可能不同在做用户画像这种需要可解释、可复现场景时很不友好。GA遗传算法也能做全局搜索但它需要二进制编码、选择、交叉、变异参数更多收敛速度一般比PSO慢。语音里经常有人讲“PSO没有GA那么复杂效果又接近就很适合工程落地”。这一点我是认同的。3. 数据预处理与特征构建从原始负荷曲线到聚类输入3.1 数据清洗时最容易忽略的细节我在做这个项目时拿到的是某市一个台区300户居民一整年的负荷数据15分钟一个点每天96个点。数据质量比想象中糟糕。缺失率大概5%还有不少点是0甚至出现连续几天全0的情况——用户可能长期不在家或者表计异常。清洗原则我总结成三条对单点缺失一天内少量缺数用前后时刻线性插值对连续大段缺失比如连续几个小时没数据当天的曲线如果可用点不足70%就直接剔除不硬补对全0日或者低于某阈值的日单独标记出来不参与建模但可以作为后续行为画像的辅助维度比如“长期闲置户”。很多文章不写这一步直接拿原始数据去聚类结果会被缺失和异常点带偏簇中心经常出现诡异的“尖峰”导致画像根本对不上真实情况。3.2 特征怎么选负荷率、峰谷差、用电时段占比原始负荷曲线可以直接做聚类输入24维或96维但维度过高会稀释距离度量的有效性簇内方差变大聚类结果还会受个别异常点影响。我的做法是先做特征压缩提炼出能表征用电行为的核心指标。我常用的一组特征组合日平均负荷反映整体用电水平日负荷率平均负荷除以最大负荷体现负荷平稳程度值越高说明全天用电越均衡峰谷差率(最大负荷 - 最小负荷) / 最大负荷反映峰谷波动剧烈程度峰时段用电占比把一天按峰、平、谷三段划分算各时段电量占比这是区分上班族和居家户的好特征夜间用电比例晚22点到次日6点的电量占比用来识别是否有电动车充电或者夜间设备运行最大负荷出现时刻刻画用电高峰出现在哪个时段。选特征的时候一定要结合业务理解不追求数量。每一类行为模式必须有至少一个特征能把它“架起来”。比如你要区分“上班族”和“SOHO族”光看平均负荷区别不大但峰时段占比和白天负荷比例差得非常明显。3.3 归一化必须做不做等于白聚聚类是基于距离的Kmeans用的是欧氏距离。不同特征的量纲差距很大日均用电量可能是十几千瓦时的量级峰谷差率是一个0到1的小数。如果不做归一化欧氏距离会被量纲大的特征主导小量纲特征形同虚设聚类就变成了“单维聚类”。我通常用Matlab自带的mapminmax做[0,1]归一化注意是按特征维度归一化不是把整个样本矩阵压成[0,1]。这一步做错的话训练出来的簇中心在反归一化后完全没法解释。代码片段% 假设feature_matrix是n×m矩阵n个样本m个特征 % 按列(特征)归一化到[0,1] [feature_norm, ps] mapminmax(feature_matrix, 0, 1); feature_norm feature_norm; % 后续聚类用feature_norm画图解释时用ps做反归一化4. Matlab实现全流程PSO寻优 Kmeans聚类代码拆解4.1 主程序框架能复用的骨架结构Matlab里实现整套流程并不复杂我建议把程序拆成四个部分数据加载与预处理、PSO寻优、Kmeans聚类、结果评估与可视化。这样结构清爽调试时也容易定位问题。主框架伪代码如下%% 1. 数据准备 % data: n×d 矩阵n为用户数d为特征维度 data load_elec_data(data.csv); [data_norm, ps] mapminmax(data, 0, 1); data_norm data_norm; %% 2. PSO参数设置 K 4; % 聚类数 d size(data_norm, 2); dim K * d; % 每个粒子的维度 nPop 30; % 粒子数 maxIter 50; % 迭代次数 w 0.7; % 惯性权重 c1 1.5; % 个体学习因子 c2 1.5; % 群体学习因子 %% 3. PSO寻优 [bestCenterSet, bestFitness] PSO_Kmeans(data_norm, K, nPop, maxIter, w, c1, c2); %% 4. 用最优中心初始化Kmeans [clusterIdx, centers] kmeans(data_norm, K, Start, bestCenterSet, ... MaxIter, 500, Replicates, 5);4.2 PSO目标函数与粒子更新代码详解PSO部分的核心是目标函数。对于每个粒子把它的位置向量x改造成K×d的矩阵即K个聚类中心然后计算所有样本到各自最近中心的距离平方和作为粒子的适应度。这里有个优化点计算适应度时不直接用for循环套每个样本而是用Matlab的向量化运算。我用pdist2计算样本和所有中心的距离矩阵然后对每行取最小值并累加。这样速度比循环快一个数量级。代码function fitness calcFitness(x, data, K, d) centers reshape(x, K, d); distMat pdist2(data, centers); % n×K minDist min(distMat, [], 2); % 每个样本到最近中心的距离 fitness sum(minDist.^2); % SSE end粒子更新环节除了速度和位置公式外还有一个容易被忽视的点位置边界处理。粒子的每个维度代表一个聚类中心的某个特征分量特征已经归一化到[0,1]所以粒子的位置也应该限制在[0,1]范围内。如果某维更新后超出边界我通常用“重新映射到边界附近”的方式而不是直接截断。直接截断会让粒子频繁聚集到边界上搜索多样性变差。更新核心代码for iter 1:maxIter for i 1:nPop % 适应度 fitness calcFitness(pop(i,:), data_norm, K, d); % 更新个体最优 if fitness pBestFitness(i) pBestFitness(i) fitness; pBest(i,:) pop(i,:); end % 更新全局最优 if fitness gBestFitness gBestFitness fitness; gBest pop(i,:); end end for i 1:nPop vel(i,:) w * vel(i,:) c1*rand(1,dim).*(pBest(i,:) - pop(i,:)) ... c2*rand(1,dim).*(gBest - pop(i,:)); pop(i,:) pop(i,:) vel(i,:); % 边界处理 pop(i,:) max(pop(i,:), 0); pop(i,:) min(pop(i,:), 1); end % 惯性权重线性递减提高后期收敛性 w 0.9 - (0.9 - 0.4) * iter / maxIter; end4.3 把PSO结果接上Kmeans为什么还要再来一次聚类PSO给出了一组高质量的初始中心但它是通过粒子搜索得到的精度并不足以直接作为最终结果。因为PSO的计算重点在于全局搜索后期收敛精度有限。正确做法是把PSO输出的那组中心作为Kmeans的Start参数再用标准Kmeans的EM式迭代去精修直到收敛。这样既发挥了PSO的全局搜索能力又利用了Kmeans的局部快速收敛特性两者互补。实际操作中Replicates可以设成5但注意既然初始中心已经由PSO确定Replicates的作用就仅仅是多次随机运行取最优防止数字噪声带来的微小差异。我实测设置Replicates1就足够稳定设太大只会浪费算力。kmeans里还有一个容易踩坑的参数是Distance默认是sqeuclidean欧氏距离平方这和PSO里的距离度量必须保持一致否则两个阶段优化的目标就错位了组合起来效果反而变差。4.4 聚类评价指标轮廓系数和DBI怎么看用PSO-Kmeans聚类完成后必须做两步验证。第一步是“和传统Kmeans比一比”第二步是“判断K取多少最合理”。Silhouette轮廓系数的计算公式是s(i) (b(i) - a(i)) / max(a(i), b(i))a(i)是样本i到同簇其它样本的平均距离b(i)是样本i到最近其他簇样本的平均距离。s(i)越接近1说明聚类越合理接近0说明样本处于模糊地带负值说明分错了簇。把所有样本的轮廓系数平均就是整体轮廓系数。DBIDavies-Bouldin Index则更关注簇间分离度与簇内凝聚度的比值值越小越好。论文写作时这两个指标经常同时出现一个体现簇的紧凑分离质量一个体现类别间的重叠程度。Matlab里计算轮廓系数可以直接用[silh, h] silhouette(data_norm, clusterIdx); meanSilh mean(silh); % 均值轮廓系数DBI没有现成函数自己写也不多核心就两行逻辑算每个簇的中心算簇内平均距离到中心的均值再求簇间中心距离的比值取最恶劣的簇对。如果发现轮廓系数偏低我一般先怀疑特征设计问题而不是算法问题。聚类算法本身只是在做距离划分如果特征没把行为差异体现出来换什么算法都白搭。5. 实测对比PSO-Kmeans与传统Kmeans的差距到底有多大5.1 实验设置300户、800天负荷数据上的测试我用来测试的数据是某市一个台区300户居民连续800天的负荷记录15分钟一个点。剔除缺失严重和长期闲置用户后有效样本是274户。特征工程后每个用户得到7个特征日均电量、日负荷率、峰谷差率、峰段占比、谷段占比、夜段占比、最大负荷时刻按小时换算为数值。聚类数K分别测试了3、4、5、6四档用轮廓系数和DBI两个指标做综合评价最终选定K4。下面是对比结果同一份归一化数据只改初始化方法方法SSE越小越好平均轮廓系数DBI越小越好重复运行结果波动Kmeans随机初始化68.320.420.97簇中心波动明显Kmeans初始化63.870.460.88偶尔偏移PSO-Kmeans本文方法59.240.520.79多次运行几乎一致可以看到SSE从68.32降到了59.24整体轮廓系数从0.42提升到0.52。0.52这个数值在用电行为数据里已经算很不错的了——这类数据本身存在大量重叠区域能到0.5以上说明类别边界基本清晰。5.2 从SSE收敛曲线看PSO的搜索过程实验结果里最值得看的是PSO的收敛曲线。初始时种群适应度在75左右前10代下降得很快到20代左右趋于平缓最终停在59附近。这个过程说明PSO确实在做有效的全局搜索而不是一开始就陷入某个局部区域。传统Kmeans从随机初始化出发时SSE收敛终点通常在65上下而且不同的随机种子终点不一样。对比下来PSO相当于在宽泛的搜索空间里先“跑图”把全局较优的区域找出来然后交给Kmeans去精准降落最终落点稳定。5.3 四类人群画像聚类结果怎么翻译成业务语言K4时四类用户的典型特征如下第一类70户左右日均电量低峰段占比高夜占比较低。典型画像为“普通上班族”晚上6-9点做饭、看剧、用热水器白天家里基本没人。这类用户对峰谷电价不敏感需求响应潜力一般。第二类45户左右负荷率常年偏高峰谷差率小夜占比明显高于平均水平。典型画像为“夜间用电型”很多家里有电动车晚上充电还有部分从事夜间工作白天在家休息。这类用户如果当地有谷段电价优惠转移潜力非常大。第三类86户左右各时段用电占比均匀日均电量中等曲线起伏不大。典型画像为“全天均衡型”家里有老人或者全职主妇用电习惯稳定。营销上适合推稳定型套餐。第四类73户左右日均电量显著高于其他类峰谷差率极大最大负荷常出现在中午或傍晚。典型画像为“高耗能改善型”家里可能有大功率电器或者小型作坊。这类用户是需求响应、用能优化的重点对象。这四类画像反过来检验了特征选择的合理性每一类用户都有至少一个明显区分的特征维度。如果聚类出来所有特征的方差都差不多说明特征没选好画像无从解读。6. 实操阶段的坑我在这套方法上踩过的几个雷6.1 粒子数量、迭代次数与K值的搭配PSO参数虽然不多但搭配不当效果天差地别。粒子数太少比如5个搜索覆盖不足全局优化能力退化粒子数太多比如200个计算开销大但收益不显著。300户这种量级的数据30个粒子、50代迭代完全够用。数据量到几千户时粒子可以加到50-60个迭代80代基本上能稳定收敛。K值的判定千万别只盯着一两个指标。我在K3时轮廓系数其实也不低但画出来的用户画像太粗糙把夜间型和均衡型混在一起对后续运营没有区分度。K6时轮廓系数下降明显出现了一些样本数只有个位数的碎片簇。最终我采用的思路是先用轮廓系数和DBI圈定候选2-5再结合业务上“每个簇是否有明确标签和足够样本量”来判断把业务可解释性作为最终裁决。6.2 过早收敛和局部最优怎么判断PSO真的搜索够了PSO常见的毛病是“早熟”粒子群的全局最优位置长时间不变但SSE还明显高于理论水平。如果你画出适应度曲线发现前5代就“平”了很可能就是粒子多样性不足全部被吸到局部极值附近。解决办法有三个第一增大初始粒子分布范围别把所有粒子的初始位置都放在数据均值附近不然它们很快会挤在一起第二把c1和c2设为1.5左右同时让w从0.9线性递减到0.4前期全局探索、后期精细搜索第三如果条件允许做3次独立重复每次重新生成随机种子看SSE终点是否一致。多次结果都落在同一水平才算可信。我在第一次实验里就被过早收敛坑过。当时惯性权重w固定为0.6没有递减粒子到后面还在大步游荡结果最后Kmeans精修后SSE反而比传统Kmeans还高。改成线性递减后结果才稳定下来。6.3 归一化范围、随机种子和结果复现Matlab里归一化如果用mapminmax(A, 0, 1)默认是按行操作的所以必须先转置再归一化再转置回来。很多新手在这步就把数据弄反了导致聚类结果完全没有可解释性。随机种子方面PSO和kmeans都有随机性论文或项目报告中如果只跑一次就报结果很容易被质疑。我的习惯是每个实验配置重复运行5次记录SSE和轮廓系数的均值±标准差。比如报告里写“SSE59.24±0.35”就比单纯一个数有说服力得多。另外不同Matlab版本对kmeans内部实现可能有微小差异建议在论文里注明运行环境和版本号。这是很多复现实验的人最容易忽略的细节却能帮后来人省掉大量对参数的时间。6.4 聚类结果的可解释性跑通代码只是第一步算法跑通了簇也分出来了但最终能不能用到业务上取决于你能否让业务人员相信这些簇有意义。我的做法是把每个簇中心的特征值反归一化翻译成业务语言输出一份“典型用户特征表”。比如簇1的峰段占比0.73反归一化后对应“峰段用电占全天用电的73%”再结合最大负荷时刻在19点直接可以输出一句人话这类用户晚上7点左右达到用电高峰白天大部分时间耗电极低。这样业务人员一听就懂算法结果才能落进运营方案里。建议每次聚类后都自动输出一个画像报告而不是停留在代码层面的“簇编号”。很多项目做到最后败在“算法很高级但业务不认账”往往就是缺了这一步翻译工作。7. 几个实际问题这套流程能不能扩展到更大数据我在这套流程上跑通后也顺手测过更大的数据集一个拥有5000户的台区数据集特征同样压缩到7维。PSO阶段耗时略微增加粒子数加到50迭代80代总耗时大约40秒。作为对比直接跑标准Kmeans的耗时是毫秒级但考虑初始化和运行多次所浪费的调参时间PSO的代价完全可以接受。如果是几万甚至上百万户级别的数据建议把代码稍作调整第一PSO阶段用GPU并行计算替代纯CPU循环Matlab有gpuArray可以直接加速pdist2第二Kmeans阶段用Options, statset(UseParallel, true)开启并行第三特征工程这一步尽量压维把96维原始曲线压到5-8维能显著减少PSO维度爆炸的风险。另外这套方法也不只适用于用电数据。如果你手头有光伏发电曲线、燃气负荷曲线甚至是商场人流时序数据只要数据形态是“用户-时间序列-指标”的都完全可以直接复用这套PSOKmeans的框架。核心改变的地方只有特征工程——换成对应业务的高辨识度指标剩下的算法流程不动即可。最后再分享一个小细节做聚类分析时永远把原始数据备份好特征工程、归一化、聚类每一步都保留可追溯的脚本。我会把所有步骤封装成函数并加上输入输出注释这样换数据集时只需要替换数据加载部分一套流程直接复用。这篇内容就是基于我实测过的这个完整流程写的按这套逻辑走你的聚类结果会比直接调kmeans稳定得多也更容易讲出业务故事。

PSO优化Kmeans的居民用电行为聚类与Matlab实现

相关推荐

仿QQ音乐HTML静态网页：Flex与Grid布局实战

Axis报Unmarshalling Error？根因是空字符串转数字

uCOS消息邮箱实战：任务间传递数据缓冲区的原理与完整方案

更多资讯

Agent-Reach：智能体能力触达范围的设计与落地实践

Agent Skills从入门到实战：安装、开发与故障排查全指南

把技术学习变成升级打怪：一套可量化的等级成长体系

Matlab计算ERT灵敏度分布：表面与跨井电极2D/3D实操

用C语言手写迷你Shell：从fork到管道重定向的完整实现

数据结构内存布局与调试避坑指南：链表越界、快排崩溃、B+树索引失效的根因解析

今日更新

Multisim仿真NE555 PWM控制器：从搭电路到调占空比全流程

S32K312 AUTOSAR BSW开发实战：从配置踩坑到烧录交付

双目视觉三维人脸重建：从视差图到点云粗配准全流程解析

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？