尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
DEC学习
前提知识维度特征维度可以简单理解为需要用多少个数字去表示特征。例如一个人有身高、体重、性别、年龄这四个特征每个特征都用一个数字表示那人的特征维度就是4。软/硬分布在聚类算法中根据一个数据点是否确定属于唯一一个簇可划分为软分布和硬分布。如果一个数据点和簇中心的关系只有属于和不属于也就是0和1则是硬分布比如Kmeans等如果数据点和簇中心之间的关系用相关度或者隶属度表示则是软分布比如FCM、DEC、IDEC等。背景聚类通过挖掘数据特征之间的关系增大簇之间的距离缩小簇内间距。但随着数据量的增长描述数据的特征维度也在不断增加。如果保留数据的全部特征进行聚类不仅会增加计算量还会因为噪声和无用特征的存在导致聚类结果不理想。所以为了数据清洗并且将高维数据特征压缩为低维数据特征以便更好地进行聚类于是引入DNNDeep Natural Network深度神经网络进而有了深度聚类DEC就是深度聚类中的代表算法之一。DNN搭建AEAuto-Encoder自编码器是一种神经网络架构由encoder编码器和decoder解码器组成具有压缩和重构的功能是DEC的基础骨架。encoder是由多个全连接层激活函数组成的网络块负责将高维特征压缩为低维特征。如上图所示全连接层的隐藏计算层一共有四个神经元是参与计算的最小网络单位将所有特征输入进每个神经元每个神经元会对输入进行加权求和即线性变换其中权重w和偏置b都是可学习的参数且所有神经元独立使用W和b。隐藏层的结果经过激活函数激活后再输入进输出层的神经元加权求和后即为嵌入后的特征z可见嵌入特征z的维度和输出层神经元个数保持一致和隐藏层神经元个数无关。decoder的结构和encoder非常相似区别在于decoder的输入特征维度要比输出层神经元个数大以此完成升维任务。AE预训练AE是要服务于最后的聚类任务的一个好的AE模型对聚类结果至关重要因此需要先对AE进行预训练得到不错的结果后再将其用于聚类。encoder负责压缩特征decoder负责使用由encoder得到的嵌入特征进行重构得到与原始特征X比较即可判断AE的表现。预训练损失函数使用X和的均方误差MSEDEC算法会抛弃decoder只用encoder完成后续的聚类任务。聚类聚类任务中需要更新的参数就是簇中心在第一次聚类之前需要初始化簇中心有两个方法①随机初始化②AE预训练完成后将数据放在AE中再跑一遍这一遍只要encoder生成的嵌入特征z用 kmeans对z进行一次聚类得到初始化簇中心显然②的误差会更小所以一般都会选择②。聚类损失函数KL散度其中q是目标/近似分布p是希望q去逼近的真实分布KL散度表示真实分布p和近似分布q之间的差距。KL越小p和q之间的差距越小近似分布越逼近真实分布聚类结果越好。接下来计算近似分布Q计算z和的欧式距离但是DEC是软分布所以需要先把欧氏距离转换成软分布使用学生-t分布的概率密度公式计算软分布t分布并不是用来建模隐空间样本的分布只是距离‑相似度的转换核。相比正态分布学生 t‑分布拥有更重的尾部距离较大时相似度不会快速归零保留软分布的梯度避免训练过早变成硬分布。其中α是t分布的自由度。在DEC论文以及其他方法中α的值通常固定为1所以Q一般写成由于聚类是无监督学习压根没有真实分布所以对Q进行锐化得到P锐化的作用就是会让大的更大小的更小。loss会让Q不断的逼近P从而达到聚类的效果P也叫伪标签。总结DEC的损失函数只有聚类损失即KL散度因为在AE预训练完成之后只有encoder参与了后续的聚类。KL散度是由P和Q计算得来的P又是由Q锐化得到的所以参数更新就是Q中的嵌入特征z和簇中心但是z只是一个计算结果是由encoder计算得到的所以DEC真正需要更新的参数有两个①神经网络参数W和b②簇中心完整过程①预训练AE完成神经网络参数初始化和簇中心初始化。②将数据输入encoder得到嵌入特征z计算嵌入特征z和簇中心的欧式距离带入t分布的概率密度公式将距离转化为相关度得到近似分布Q锐化Q得到伪标签P。③计算KL散度反向传播梯度下降调整参数W、b、。④重复②③直到KL散度不再变化。注意由于DEC需要更新的参数很多而且数据量很大所以一般会采用mini-batch的策略进行模型微调也就是②③每次只选取一部分的数据输入到encoder当中参数正常更新但是P的公式中需要计算所有数据的软分布之和现在训练只是选了一部分数据只会临时记录这一部分数据的Q所以不能更新P等到一定轮次可以自己设置之后再统一计算所有的Q求和再更新P这样也会节省很多时间。DEC缺点DEC的P是由Q锐化得到的所以实际上模型微调的方向就已经人为确定了就是让相关度高的更高低的更低假如一开始的方向就是错的那一条道走到黑显然也不会有好结果。DEC的损失函数只有KL散度这会导致模型为了让loss减小调整W和b的时候可能会导致encoder压缩出扭曲的嵌入特征虽然看似loss小了但实际上是不合理的这也是DEC在模型微调环节把decoder去掉encoder没有了重构约束的结果也是IDEC改进的方向。
RELATED

相关推荐

共集电极放大电路完整分析:从静态工作点到仿真实战

共集电极放大电路完整分析:从静态工作点到仿真实战

分享一套三极管共集电极放大电路的完整分析笔记,从电路结构、静态工作点计算到动态指标推导,再到 Multisim 仿真与实测注意事项,一次讲清楚。无论是准备模电考试,还是在实际项目中用射极跟随器做阻抗变换、缓冲隔离,这…

📅 2026/10/6 4:26:16
测试工程师校招笔试复盘:从等价类到AI测试的备考指南

测试工程师校招笔试复盘:从等价类到AI测试的备考指南

2018年秋招那阵子,爱奇艺测试工程师的第一场笔试出来后,备考群里的讨论一下子炸了。题目本身不算偏,但很多人栽在同一个地方:用刷算法题的心态去答测试题,结果在等价类、边界值、测试用例设计这些“送分题”上丢了大分…

📅 2026/10/14 14:45:28
拒绝八股!10道前端实战面试题全解析

拒绝八股!10道前端实战面试题全解析

1. 为什么前端面试必须“拒绝八股”前端面试八股文泛滥这件事,行业里吐槽了好几年。Vue 的响应式原理、防抖节流的代码、浏览器从输入 URL 到页面展示的过程,这些问题本身没问题,但很多候选人背答案的痕迹太明显。你问他 nextTick 的实现原理…

📅 2026/9/22 6:08:28
MORE NEWS

更多资讯

📰

凤岗电工证换证怎么操作?通过率揭秘全在这了

凤岗电工证换证怎么操作?通过率揭秘全在这了 证书过期了不知道怎么复审延期?别慌,今天就来聊聊凤岗电工证换证的那些事儿,告诉你怎么操作、怎么准备、怎么避免踩坑,特别是想了解通过率揭秘的你,这波信息绝对值得收藏。 凤岗电工证换证的适用范围…

📰

电工证补审在哪个部门最新政策解读 值不值得考

电工证补审在哪个部门最新政策解读 值不值得考 怕考不过白交培训费?很多人在报名特种作业操作证考试前都会有这个想法。其实, 电工证补审在哪个部门…

📰

电工证补审在哪个部门多少钱全流程办理指南

电工证补审在哪个部门多少钱全流程办理指南 工地太忙根本没时间复习考试,补审电工证又得跑部门、花钱、耗时间,真的让人头大。特别是像我们这种刚毕业的工程类学生,一边要找工作,一边还得抽空把电工证补审搞定,想想就烦。但你知道吗?补审电工证其实没那…

📰

中级电工证百科介绍怎么考?良心建议帮你避开报名陷阱

中级电工证百科介绍怎么考?良心建议帮你避开报名陷阱 不知道去哪报名怕被中介坑?别急,今天给你一个 良心建议 ,带你全面了解【中级电工证百科介绍】,从考试流程、培训机构选择,再到年审和证书价值,一文讲透,让你少走弯路,不花冤枉钱。…

📰

工地太忙根本没时间复习考试?怎样考取日本电工证通过率揭秘

工地太忙根本没时间复习考试?怎样考取日本电工证通过率揭秘 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。尤其是随着工程项目越来越多,电工证不仅成为上岗的门槛,更是决定收入和职业发展的重要因素。然而,很多人在考取电工证时,面对“怎样…

📰

现在电工证是否有补贴 怎么拿电子证书别被坑

现在电工证是否有补贴 怎么拿电子证书别被坑 不知道去哪报名怕被中介坑?现在电工证是否有补贴?你可能正为这些问题发愁。电工证不光是上岗的通行证,还可能带来政策补贴,但很多人不清楚具体怎么操作,更怕被中介“吃干抹净”。本文从洛阳劳务班组负责人的…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬