尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【注意力机制】AAAI 2026 | DCMM:度修正混合成员注意力模块,可微社区结构建模让医学影像分析更精准!
论文: DCMM-Transformer: Degree-Corrected Mixed-Membership Attention for Medical Imaging作者: Huimin Cheng, Xiaowei Yu, Shushan Wu, Luyang Fang, Chao Cao, Jing Zhang, Tianming Liu, Dajiang Zhu, Wenxuan Zhong, Ping Ma发表: AAAI 2026 (AAAI Conference on Artificial Intelligence)论文链接: https://arxiv.org/abs/2511.12047代码链接: 无官方开源代码(本文根据论文内容实现)一、引言医学影像分析是计算机视觉在医疗领域中的核心应用之一。Vision Transformer (ViT) 及其变体在医学图像分类、分割等任务中取得了优异的成绩。然而,医学图像具有天然的结构化特性——图像中的不同区域(如器官、组织、病灶)往往形成有意义的"社区"(Community),而同属一个社区内的图像块(Patch)之间具有更强的相关性。标准的 ViT 将所有图像块一视同仁,仅通过特征相似度计算注意力权重,完全忽略了这种潜在的社区结构。这就好比一个医生在看CT片时,如果不了解解剖结构,就很难做出准确判断。虽然已有工作(如 SBM-Transformer)尝试通过随机二进制掩码引入社区结构,但存在不可微、训练不稳定、无法建模复杂社区关系等问题。本文提出的DCMM-Transformer通过将度修正混合成员模型(Degree-Corrected Mixed-Membership, DCMM)以可微的加性偏置形式融入自注意力机制,优雅地解决了上述问题。二、核心动机现有方法的局限性:SBM-Transformer 使用随机块模型(Stochastic Block Model, SBM)生成二进制注意力掩码,但二进制采样导致梯度无法回传,不得不使用 Straight-Through Estimator 等近似方法,带来了优化偏差和高方差问题。更关键的是,SBM 假设同一社区内的所有节点具有相同的连接度,而现实中病灶区域的图像块往往是"连接枢纽",与其他区域有更广泛的交互。本文的解决思路:直接建模社区结构矩阵P PP作为注意力 logits 的加性偏置,避免二进制采样;引入度参数θ i \theta_iθi​捕捉不同图像块的重要性差异;使用软成员向量π i \pi_iπi​允许每个图像块同时属于多个社区。最终公式简洁优雅:Attn DCMM ( Q , K , V , P ) = σ ( Q K ⊤ d h + λ P ) V \text{Attn}_{\text{DCMM}}(Q,K,V,P) = \sigma\left(\frac{QK^\top}{\sqrt{d_h}} + \lambda P\right)VAttnDCMM​(Q,K,V,P)=σ(dh​​QK⊤​+λP)V三、方法3.1 模块整体设计DCMM-Transformer 的核心是在自注意力机制中引入一个社区结构加性偏置矩阵P ∈ R n × n P \in \mathbb{R}^{n \times n}P∈Rn×n,其中每个元素p i j p_{ij}pij​表示图像块i ii和j jj之间的连接概率。图1:DCMM-Transformer 整体架构整个模块的前向过程如下:对每个图像块,从 Query 表示中提取软社区成员向量π i \pi_iπi​和度参数θ i \theta_iθi​通过可学习的社区嵌入矩阵C CC计算社区间连接概率矩阵B BB由π i \pi_iπi​、θ i \theta_iθi​和B BB构建偏置矩阵P PP将P PP加权后加到标准注意力 logits 上图2:DCMM 偏置构建流程3.2 核心算法原理社区检测理论基础:DCMM 模型源自网络科学中的社区检测方法,其一般形式为:P ( A i j = 1 ) = θ i θ j π i ⊤ B π j P(A_{ij}=1) = \theta_i \theta_j \boldsymbol{\pi}_i^\top B \boldsymbol{\pi}_jP(Aij​=1)=θi​θj​πi⊤​Bπj​其中π i ∈ [ 0 , 1 ] L \boldsymbol{\pi}_i \in [0,1]^Lπi​∈
RELATED

相关推荐

ARIMA模型实战:Python statsmodels 0.14 版本完整建模流程与3大检验避坑指南

ARIMA模型实战:Python statsmodels 0.14 版本完整建模流程与3大检验避坑指南

ARIMA模型实战:Python statsmodels 0.14 版本完整建模流程与3大检验避坑指南 时间序列分析在金融、气象、供应链管理等领域具有广泛应用价值。作为经典预测方法,ARIMA模型因其数学严谨性和可解释性,至今仍是数据分析师的核心工具之一。本文将…

📅 2026/10/19 3:14:17
Windows Defender彻底移除终极指南:如何完全禁用Windows安全组件

Windows Defender彻底移除终极指南:如何完全禁用Windows安全组件

Windows Defender彻底移除终极指南:如何完全禁用Windows安全组件 【免费下载链接】windows-defender-remover A tool which is uses to remove Windows Defender in Windows 8.x, Windows 10 (every version) and Windows 11. 项目地址: https://gitcode.com/gh_m…

📅 2026/9/17 13:11:53
WorkshopDL技术架构解析:构建跨平台Steam模组下载的解决方案

WorkshopDL技术架构解析:构建跨平台Steam模组下载的解决方案

WorkshopDL技术架构解析:构建跨平台Steam模组下载的解决方案 【免费下载链接】WorkshopDL WorkshopDL - The Best Steam Workshop Downloader 项目地址: https://gitcode.com/gh_mirrors/wo/WorkshopDL 在游戏模组生态系统中,跨平台访问限制已成为…

📅 2026/10/10 17:52:41
MORE NEWS

更多资讯

📰

中建电工证图片报名费多少钱良心建议

中建电工证图片报名费多少钱良心建议 怕考不过白交培训费?中建电工证图片报名费多少钱?你不是一个人。作为安阳劳务班组的负责人,我深知在特种作业证办理这条路上,最怕的就是花了钱却拿不到证,不仅耽误工期,还影响班组信誉。今天就从【中建电工证图片】…

📰

门头沟怎么考电工证含金量高吗

门头沟怎么考电工证含金量高吗 实操考试心里没底怕挂科?很多人在备考电工证的时候,最担心的就是动手操作环节,一不小心就可能因为操作不规范或步骤不清晰被扣分甚至挂科。但你知道吗,电工证的含金量在各行各业都越来越被认可,尤其在建筑、电力、制造等行…

📰

特种作业证考前押题攻略:煤气作业证考试时间怎么安排才靠谱?

特种作业证考前押题攻略:煤气作业证考试时间怎么安排才靠谱? 你缺的不是证书,而是能帮你快速上岗的实战经验。特别是像煤气作业这种高危工种,没有证寸步难行。现在就告诉你,煤气作业证考试时间怎么安排,怎么高效备考,让你不再为考证焦虑。…

📰

海门电工证报名地址最新政策解读 别踩坑了

海门电工证报名地址最新政策解读 别踩坑了 之前考的证在外省能不能转过来,这事儿你不是一个人在纠结。很多人拿着外地的特种作业操作证,到了海门想干电工活,却发现证不被认,干不了活,更别提升职加薪了。 千万别踩坑…

📰

松江电工证在哪里考试多久拿证?外省证怎么转过来?

松江电工证在哪里考试多久拿证?外省证怎么转过来? 之前考的证在外省能不能转过来?这个问题我听得太多了,也帮不少人处理过。 松江电工证在哪里考试 ?很多人以为只能在当地报考,其实不然,只要手续到位,外省的证也可以转过来。关键是要知道…

📰

电工证复审多久发证 内部消息揭秘河南报名流程

电工证复审多久发证 内部消息揭秘河南报名流程 不知道去哪报名怕被中介坑?电工证复审多久发证成了很多在职建筑工人的头等大事。尤其是新乡地区的电工,经常被各种培训机构和中介搞得云里雾里,担心花钱还拿不到证。其实,只要你掌握了 内部消息…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬