【论文阅读】SwinMR：用移位窗口注意力重建 MRI，如何兼顾细节与计算量？-北京尧图网络

文章目录01 基础信息02 背景03 方法04 结果05 思考06 新掌握的表达01 基础信息标题Swin transformer for fast MRI。作者Jiahao Huang、Yingying Fang、Yinzhe Wu、Huanjun Wu、Zhifan Gao、Yang Li、Javier Del Ser、Jun Xia、Guang Yang。期刊Neurocomputing493:281–3042022。关键词MRI 重建Swin Transformer移位窗口残差学习多通道损失。论文DOI10.1016/j.neucom.2022.04.051。作者代码ayanglab/SwinMR。总结SwinMR 利用交替的普通窗口与移位窗口注意力提取图像特征并通过线圈灵敏度构造多通道监督损失。论文比较了重建保真指标、感知指标及下游脑肿瘤分割展示不同目标之间的权衡。前面的展开网络强调物理模型如何进入重建。这篇更关注特征提取器如何扩大信息交互范围同时避免整幅图像自注意力的高计算量02 背景为什么考虑 Transformer卷积单层主要聚合局部邻域多层、下采样与跳跃连接可以扩大感受野。自注意力则通过内容相关的权重组合特征提供另一种信息聚合方式。但对高分辨率图像若每个位置都与所有位置交互代价较大。Swin 的思路是在窗口内部计算注意力再通过窗口移位逐层建立跨窗口联系。重新整理的一些背景知识什么是 W-MSA 与 SW-MSAW-MSA 在固定的不重叠窗口内计算多头自注意力SW-MSA 改变窗口划分让前一层属于不同窗口的特征在后续层能够交互。两者交替使用。移位窗口是不是一次就看到了全图不是。一次操作仍在有限窗口内完成较大范围的联系通过多层传播逐步形成。不能把它写成既与全局注意力完全相同又没有相应代价。PI 与 nPI 表示什么在本文中PI 表示训练时使用多通道参考与灵敏度图构造损失nPI 表示不使用这种多通道监督。它们不是两个具有不同输出通道数的网络模型本身输出单通道图像。03 方法1先看数据流避免混淆原始多线圈重建按照原文 Fig. 2作者先将多线圈参考图像用 RSS 合并成单通道参考再对其 FFT 结果模拟欠采样与噪声经 iFFT 得到零填充输入x u x_uxu。网络通过残差方式输出x ^ x u N θ ( x u ) \widehat xx_u\mathcal N_\theta(x_u)xxuNθ(xu)原文还从多通道参考估计 ESPIRiT 灵敏度图用于将单通道输出映射为多通道预测并构造训练损失。因此这里的输入构造与 MoDL、SSDU 直接使用各线圈欠采样原始测量求解并不相同。尤其是灵敏度图在文中由多通道参考生成不能默认为已经验证了仅靠实际欠采样校准区的完整部署流程。2整体结构卷积输入、Swin 特征提取、卷积输出SwinMR 包括三个模块输入模块 IM通过卷积将单通道图像映射到特征空间。特征提取模块 FEM串联多个残差 Swin Transformer 块再接卷积。输出模块 OM将特征映射回单通道图像。特征层面和图像输出层面均使用残差连接。重建主干不是一个交替执行 CNN/DC 的优化展开网络频域监督损失也不等于推理时显式执行 DC 求解。图 1来源于原文 Fig. 3。RSTB 包含多个 Swin Transformer 层、特征嵌入/恢复、卷积及残差结构。3Swin Transformer 层如何更新每层先进行层归一化与注意力更新再进行层归一化与 MLP 更新X ′ X (S)W-MSA ⁡ ( LN ⁡ ( X ) ) XX\operatorname{(S)W\text{-}MSA}(\operatorname{LN}(X))X′X(S)W-MSA(LN(X))X ′ ′ X ′ MLP ⁡ ( LN ⁡ ( X ′ ) ) XX\operatorname{MLP}(\operatorname{LN}(X))X′′X′MLP(LN(X′))窗口内部的注意力为Attention ⁡ ( Q , K , V ) Softmax ⁡ ( Q K T d B ) V \operatorname{Attention}(Q,K,V) \operatorname{Softmax}\left(\frac{QK^T}{\sqrt d}B\right)VAttention(Q,K,V)Softmax(dQKTB)VQ , K , V Q,K,VQ,K,V由特征投影得到B BB是相对位置偏置。普通窗口与移位窗口层交替使用避免所有层始终困在相同分区中。若有N H W NHWNHW个位置窗口边长为M MM注意力交互项从全局的O ( N 2 ) O(N^2)O(N2)降至O ( N M 2 ) O(NM^2)O(NM2)这是固定特征维度时的比较投影和 MLP 等开销仍然存在。4用线圈灵敏度构造多通道损失设第q qq个线圈参考图像为x q x_qxq、灵敏度为S q S_qSq、完整参考频域数据为y q y_qyq单通道预测x ^ \widehat xx的多通道表示为S q ⊙ x ^ S_q\odot\widehat xSq⊙x。定义 Charbonnier 型惩罚ϕ ϵ ( v ) ∥ v ∥ 2 2 ϵ 2 \phi_\epsilon(v)\sqrt{\|v\|_2^2\epsilon^2}ϕϵ(v)∥v∥22ϵ2按原文式23与24像素及频域损失分别为L p i x e l 1 S ∑ q 1 S ϕ ϵ ( x q − S q ⊙ x ^ ) \mathcal L_{\mathrm{pixel}} \frac1S\sum_{q1}^S\phi_\epsilon(x_q-S_q\odot\widehat x)LpixelS1q1∑Sϕϵ(xq−Sq⊙x)L f r e q 1 S ∑ q 1 S ϕ ϵ ( y q − F ( S q ⊙ x ^ ) ) \mathcal L_{\mathrm{freq}} \frac1S\sum_{q1}^S\phi_\epsilon\left(y_q-F(S_q\odot\widehat x)\right)LfreqS1q1∑Sϕϵ(yq−F(Sq⊙x))再加入 VGG 特征的ℓ 1 \ell_1ℓ1感知损失L t o t a l α L p i x e l β L f r e q γ L V G G \mathcal L_{\mathrm{total}} \alpha\mathcal L_{\mathrm{pixel}} \beta\mathcal L_{\mathrm{freq}} \gamma\mathcal L_{\mathrm{VGG}}LtotalαLpixelβLfreqγLVGG此处F FF是完整傅里叶变换y q y_qyq来自训练参考不是只在实际欠采样点计算的一项独立自监督损失。本文仍然是监督学习。5具体设置采用 6 个 RSTB每个包含 6 个 STL窗口边长 8注意力头数 6特征通道数 180训练裁剪尺寸为96 × 96 96\times9696×96。这里的 96 是训练图像块边长不是窗口边长。损失权重为α 15 \alpha15α15、β 0.1 \beta0.1β0.1、γ 0.0025 \gamma0.0025γ0.0025。用 Adam 训练 100,000 步初始学习率2 × 10 − 4 2\times10^{-4}2×10−4并采用翻转与旋转增强。04 结果主数据集主要比较使用 Calgary-Campinas 多通道脑 MRI。作者选择 67 个病例按 40/7/20 分为训练、验证、测试每例取读出方向中心附近 100 张二维切片处理后尺寸为256 × 256 256\times256256×256。Gaussian 1D 30% 掩膜下的比较下表摘自原文 Table 1PSNR 与 SSIM 为均值 ± 标准差FID 越低越好方法PSNR / dBSSIMFID零填充27.81 ± 0.830.884 ± 0.012156.39Deep ADMM Net29.24 ± 0.990.922 ± 0.01254.56U-Net31.48 ± 0.860.939 ± 0.00946.90DAGAN30.41 ± 0.830.924 ± 0.01056.05PIDDGAN31.23 ± 0.930.936 ± 0.01017.55SwinMRnPI33.06 ± 1.090.956 ± 0.00921.03SwinMRPI32.07 ± 1.020.945 ± 0.0108.70最值得注意的是nPI 的 PSNR 与 SSIM 更高PI 的 FID 更低。多通道损失没有让所有指标同时改善不能把 PI 版本写成三项全部第一。图 2来源于 Fig. 4。包含重建、Sobel 边缘与放大 10 倍的绝对差异。上方示例数值与表格总体均值属于不同统计层面。作者认为 PI 结果保留了更多细节与纹理但也指出这些细节不一定逐像素准确。较低 FID 反映特征分布更接近不能直接解释为病灶或每条纹理都更真实。计算量SwinMR 约 11.40 M 参数但256 × 256 256\times256256×256输入的计算量约为 800.73 G MACsU-Net 为 32.31 M 参数、56.44 G MACs。RTX 3090 上平均推理耗时分别约为 0.041 秒与 0.006 秒CPU 上 SwinMR 约需 19.31 秒。这说明参数量少不等于运算量小“用于快速 MRI”也不意味着它比所有前馈 CNN 更快。掩膜、噪声与损失消融作者比较 Gaussian 1D 的 10%、30%、50% 采样以及 10% 径向和螺旋掩膜并测试不同噪声水平。SwinMR PI 在这些比较中优于 DAGAN但不能仅由多种掩膜实验认定同一权重必然泛化到任意新轨迹。文中噪声水平定义为N L N 0 / ( S 0 N 0 ) \mathrm{NL}N_0/(S_0N_0)NLN0/(S0N0)不是标准差占信号幅值的百分比。损失消融还显示频域损失通常改善保真指标感知损失倾向于改善 FID却可能降低 PI 版本的 PSNR/SSIM。下游分割作者在 BraTS17 四种序列上分别训练重建权重将结果送入已有的多模态脑肿瘤分割网络。Table 6 中30% 掩膜下整个肿瘤 WT 的 Dice 中位数参考图像、重建图像、零填充图像分别为0.968、0.964、0.949。这表明重建改善了该下游任务。部分分布比较没有统计显著差异但不能据此证明重建与完整参考在所有病例和任务中等效。05 思考这篇文章的物理信息放在哪里主要体现在多通道监督的构造而不是每轮推理都解物理子问题。这与 MoDL 的 CG-DC以及 SSDU 的测量留出损失是不同设计。阅读“结合并行成像”的表述时要进一步检查算子到底进入网络、损失还是数据预处理。为什么不同指标会给出不同答案PSNR 由像素误差决定SSIM 衡量局部结构关系FID 比较预训练特征空间中的分布。感知上更丰富的细节可能同时带来更大像素误差。医学图像需要结合真实结构与任务评价而不能只选择对模型最有利的指标。窗口注意力是否证明 CNN 不适合重建没有。CNN 也能通过深度、多尺度等方式扩大感受野。本文展示了一个有竞争力的窗口注意力方案但没有隔离所有结构、损失和计算预算因素因此结论应限于所比较的方法与设置。走向实际多线圈采集还需要核对什么输入是否保留复数相位、灵敏度图从哪里获得、模拟掩膜与真实轨迹是否一致以及真实测量能否约束预测。尤其需要区分对 RSS 合并图模拟欠采样与实际多线圈原始数据欠采样的差别。可以学习的点在高分辨率任务中控制注意力范围将损失设计与评价目标联系起来同时报告质量、参数量、计算量和耗时使用下游任务补充图像指标而不把它当作完整的临床有效性证明。06 新掌握的表达移位窗口多头自注意力shifted-window multi-head self-attention残差 Swin Transformer 块residual Swin transformer block相对位置偏置relative position bias线圈灵敏度图coil sensitivity maps感知损失perceptual loss频域损失frequency-domain loss下游任务评价downstream task evaluation

【论文阅读】SwinMR：用移位窗口注意力重建 MRI，如何兼顾细节与计算量？

相关推荐

Linux系统编程——标准io

从零开始学 UI 第一篇：Figma 快速上手实战指南（上）

基于 Scapy 的端口扫描器实验：TCP Connect、SYN、Xmas、FIN、NULL 与 UDP 扫描

更多资讯

房贷还款计算全解析：等额本息与等额本金对比及Python实现

10分钟用Vue3+Express搭建生鲜电商实战项目

Frash：iOS Web应用容器如何实现原生级体验优化

RGMII时序三要素：delay、skew与setup的工程落地解析

机械革命控制台主动式热管理：PWM直控与动态分区PID实战

基于PCA降维与BP神经网络的交通流量预测MATLAB项目实例

今日更新

MATLAB缩进快捷键与批量格式化实战指南

用Poco实现Qt风格信号与槽的跨平台C++方案

ESXi裸机虚拟化安装指南：从硬件兼容到虚拟机部署

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？