尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
混合注意力 CBAM
于同时关注了是什么和在哪里CBAM 在图像分类、目标检测等任务上均取得了比 SE 更优的收益。CBAM 的整体结构#在具体展开之前我们先从宏观看看 CBAM 的架构思路。CBAM 由两个子模块串联而成通道注意力模块Channel Attention ModuleCAM空间注意力模块Spatial Attention ModuleSAMimage.png很推荐去看原论文几张传播图做的非常清晰一目了然。如图给定特征图CBAM 依次应用两个模块通道注意力得到与输入逐通道相乘。空间注意力得到与上一步结果逐空间位置相乘。需要说明的是这两个模块的顺序并不是随意的。作者在消融实验中测试了三种排列方式排列方式 Top-1 准确率无注意力baseline 93.04%空间 → 通道 93.50%通道 → 空间CBAM 93.86%结果表明先通道后空间是最优排列。直觉上也说得通先明确哪个特征重要再定位特征位置在哪逻辑上更加自然。下面分别展开两个模块的细节。通道注意力模块 CAM#CBAM 的通道注意力模块和 SE 模块的思路非常相似核心差异在于池化方式。SE 只使用了 全局平均池化 GAP 来压缩空间信息。但 CBAM 的作者认为仅靠平均值会丢失信息的峰值而最大池化能够捕捉到特征图中最强烈的响应位置这对注意力权重的估计是有益的。因此CBAM 同时使用了两种池化方式全局平均池化反映通道的整体响应强度全局最大池化反映通道的最强响应值二者并行各自得到一个的通道描述向量这两个向量各自输入到一个和 SE 中结构相同的 MLP 中得到然后将两个输出逐元素相加再经过 Sigmoid 得到最终的通道权重image.png两者结合比 SE 单独用 GAP 的鲁棒性更强。空间注意力模块 SAM#通道注意力解决了该关注哪个通道的问题但特征图上不同的空间位置对任务的贡献显然也不一样。于是CBAM 在对通道注意力进行改进的基础之上继续提出空间注意力模块。它的做法是先沿通道维度进行统计聚合将个通道压缩为 1 个通道这里也同时使用了平均池化和最大池化但操作方式有所不同沿通道维度做平均池化生成的平均特征图。沿通道维度做最大池化生成的最大特征图。将这两张特征图在通道维度上拼接得到一个的张量然后经过一个的卷积层设计 padding 3, stride 1 保证空间尺寸不变融合两图信息降维到最后通过 Sigmoid 得到空间权重image.png这里选择卷积而非是因为空间注意力需要较大的感受野来确定哪个区域重要较小的卷积核可能只能看到局部难以感知全局的空间分布。最终得到的就是空间注意力权重图每个位置的数值表示该位置的重要性然后与输入特征图逐元素相乘实现空间维度上的特征重标定。在原始特征图上依次应用两个模块得到的权重就完成了 CBAM 的完整逻辑。CBAM 和 SE#在 SE 中我们提到它是一个轻量级模块 我们先来看看 CBAM 会让其“变重多少”首先CBAM 的额外开销主要来自空间注意力中的卷积而通道注意力的参数量与 SE 完全相同。因此对于一个通道的特征图二者参数量对比为忽略偏置SE两层 MLPCBAM两层 MLP 一层卷积可以看到相比于 SECBAM 增加的计算量几乎可以忽略不计。因此虽然 CBAM 已经是八年前的工作但其同样简单高效、即插即用的特性让其在许多轻量级网络如 MobileNetV3中仍然被广泛采用。
RELATED

相关推荐

深入解析EDMA3事件与中断寄存器:从原理到实战配置

深入解析EDMA3事件与中断寄存器:从原理到实战配置

1. 事件与中断寄存器组的设计哲学与核心架构 在嵌入式系统,尤其是高性能数字信号处理器(DSP)和片上系统(SoC)的开发中,直接内存访问(DMA)控制器是释放CPU算力、实现高效并行数据吞吐…

📅 2026/9/8 8:28:40
TM4C129LNCZAD引脚复用与电气特性:嵌入式系统稳定设计指南

TM4C129LNCZAD引脚复用与电气特性:嵌入式系统稳定设计指南

1. 项目概述:从引脚复用表到稳定系统的设计哲学如果你曾经在项目后期,因为某个关键外设(比如UART或者I2C)无法正常工作而焦头烂额,最后发现是引脚配置冲突,那么你一定能深刻理解GPIO引脚复用规划的重要性。…

📅 2026/9/12 4:23:40
【小程序计算机毕业设计案例】基于 SpringBoot 的健身课程推荐与运动记录管理系统 移动端科学健身训练辅助管理应用(程序+文档+讲解+定制)

【小程序计算机毕业设计案例】基于 SpringBoot 的健身课程推荐与运动记录管理系统 移动端科学健身训练辅助管理应用(程序+文档+讲解+定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

📅 2026/8/23 20:41:41
MORE NEWS

更多资讯

📰

OpenClaw 插件 SDK 边界指南:从契约、入口到演进规范

OpenClaw 插件 SDK 边界指南:从契约、入口到演进规范 【免费下载链接】openclaw The AI that really does things. Any OS. Any Platform. The lobster way. 🦞 项目地址: https://gitcode.com/GitHub_Trending/cl/openclaw OpenClaw 的插件 SDK…

📰

瞬态流动仿真与参数搜索:高压油管压力控制建模实践

简介:针对2019年全国大学生数学建模竞赛A题“高压油管的压力控制”,资源包内整理了赛题相关的建模思路、算法源码与辅助学习材料,面向参加数学建模竞赛的本专科生、研究生,也适合需要完成相关课程设计或大作业的工程类学习者。压缩…

📰

飞桨 PIR 框架 DRR(Declarative Rewrite Rule)声明式重写规则工具实战指南

飞桨 PIR 框架 DRR(Declarative Rewrite Rule)声明式重写规则工具实战指南 【免费下载链接】Paddle PArallel Distributed Deep LEarning: Machine Learning Framework from Industrial Practice (『飞桨』核心框架,深度学习&…

📰

基于Python的2型糖尿病遗传风险预测:从SNP数据清洗到机器学习建模全流程

简介:这份人工智能辅助糖尿病遗传风险预测资源,是基于Python实现的完整机器学习项目,适合毕业设计、期末大作业及AI医疗方向入门实践。项目利用病人性别、体检日期、血常规及肾功能检查等指标,构建血糖值预测模型,覆盖…

📰

MATLAB实现混沌优化算法:从Logistic映射到载波映射的完整指南

简介:基于MATLAB的混沌优化算法源码,面向科研人员、算法工程师以及具备一定编程基础的开发者。代码以Logistic、Sin、Tent等混沌映射为扰动机制,融合蚁群优化与进化策略,并内置Alpine、Rastrigin、Rosenbrock等标准测试函数&#…

📰

车规级CAN容错设计:超时、丢包、抖动的量化建模与工程实践

1. 项目概述:这不是Bug,是车规级系统在“呼吸” 你有没有遇到过这样的场景:整车下线测试时,CAN总线上某条报文偶尔超时10ms,诊断仪却显示“无故障码”;台架标定过程中,CANape读取MF4日志发现某E…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬