自下而上注意力与Faster R-CNN：图像字幕和VQA的区域特征提取-北京尧图网络

简介自下而上注意力Bottom-Up Attention模型是一种基于Faster R-CNN与ResNet-101的视觉特征提取方案在Visual Genome上借助对象与属性注释训练可针对显著图像区域输出高层语义特征通常直接替代图像字幕和视觉问答VQA任务中的CNN特征。该实现曾在CIDEr 117.9、BLEU_4 36.9上获得图像字幕最优成绩并以70.3%总体准确率赢得VQA挑战赛是复现经典论文《Bottom-Up and Top-Down Attention》的重要代码。压缩包共981个文件约14.27MB其中cpp/hpp为Caffe底层实现与自定义算子prototxt给出Faster R-CNN的网络结构定义py/sh覆盖训练、推理与评估流程pt为预训练权重另有Jupyter Notebook演示及文档。目前已有753人学习下载。内含多GPU训练配置、示例输出和引用信息需要留意的是实际字幕模型在作者另一独立代码库中本压缩包专注自下而上注意力/Faster R-CNN部分的训练实现适合开展多模态注意力研究或复现SOTA模型的开发者。1. 自下而上注意力为什么必须先把看哪里从说什么里拆出来图像字幕和视觉问答visual question answering这类任务难点从来不是生成而是看哪里。自下而上注意力bottom-up attention给出的答案不是改进注意力公式而是先换掉注意力作用的对象2016 年那批把 soft attention 引入图像字幕的工作注意力落在 CNN 网格上而网格是规则切分的一个物体往往被切成七八块注意力只能落在模糊区域上而不是这个人或这辆车。bottom-up-attention 项目用 Faster R-CNN 先检测出语义上有意义的区域再在区域上做注意力。这套两段式范式把字幕和 VQA 指标推高一个档次后来的视觉-语言预训练模型几乎都继承了它。搞懂它就搞懂了图像特征从哪来这条主线。2. Faster R-CNN一条区域特征生产线从 RPN 到 2048 维向量先给结论在这个仓库里Faster R-CNN 的角色不是传统意义上的检测器而是区域编码器。它把一张图切成 10 到 100 个有语义边界的区域每个区域输出一组定长特征供下游的字幕和 VQA 模型消费。这个角色转换决定了后面所有模块怎么接下游模型不再碰原始像素也不碰整张图的网格特征只消费一个有序的区域特征包。2.1 RPN 先粗排锚点、前景背景与边界框回归Faster R-CNN 相对早期两阶段检测器的突破是把区域提议也变成神经网络里可微的一部分也就是 Region Proposal NetworkRPN。图像经过卷积主干之后得到一张空间分辨率缩小的特征图RPN 在这张特征图的每个位置放一组预设的锚点框锚点通常覆盖多种尺度和长宽比。对每个锚点RPN 做两件事判断它属于前景还是背景以及回归一个更精确的边界框。这一步的输出是几万个候选框数量太多且冗余直接给下游模型既慢又容易把注意力稀释掉。所以 Faster R-CNN 再接一步后处理按前景置信度排序再做非极大值抑制NMS把候选压到几百个。在 bottom-up-attention 这个项目里RPN 这一步的意义不仅是定位物体它本质上做了一次注意力预筛——先把图像里所有可能值得描述的位置挑出来。注意一个细节RPN 并不知道物体类别它只回答这里有没有东西类别是后一阶段的事。这个先定位、后分类的分工在后面理解为什么要用检测器而不是分割模型时还会再出现。2.2 RoI 池化与 ResNet-101任意形状的框变成定长向量RPN 输出的框坐标是不规整的而后续的分类和特征导出要求定长输入桥梁就是 RoI 池化。常见的实现思路是把每个候选框在卷积特征图上对应的区域裁剪出来划分成固定网格比如 7×7 或 14×14在每格内取池化值把任意大小的框统一成固定尺寸的张量。这个项目的特征提取主干是 ResNet-101取最后一层卷积输出的 RoI 特征再经过空间平均池化压成 2048 维向量——这就是每个区域的视觉特征。这里值得停下来看一个容易被忽略的点传统检测器的终点是类别加框而这个项目把框内特征也导了出来同一套网络被复用成了区域编码器。图像进来出去的是 10 到 100 个区域每个区域带三样东西2048 维特征向量、归一化后的框坐标、检测器给出的类别概率分布。后面字幕和 VQA 模型消费的正是这三个量。仓库里跑特征提取跑的就是这段 Caffe 流程不想自己跑的人可以直接用仓库提供的 MSCOCO 预提取特征包把跑检测器这一步整个跳过。注意区域特征是框内信息被压成一个向量它会丢失框内的空间细节。但因为下游是序列模型在消费特征向量化反而让跨模态对齐变得简单——语言侧一个词向量视觉侧一个区域向量注意力可以直接在同一个向量空间里计算。2.3 数量控制为什么最终保留 10 到 100 个区域检测器一次性可能输出上千个候选框全部保留不现实注意力 softmax 会变散训练显存也扛不住只留一个又太武断。项目的做法是按检测置信度排序、NMS 去冗余之后每张图保留 10 到 100 个区域平均大约 36 个。这个平均 36不是玄学它和数据集里图像的平均有效物体数量、以及下游模型能容纳的序列长度都有关系。区域太少注意力没有选择余地区域太多冗余框会稀释注意力权重让模型倾向于平均分配而不是精确定位。后处理里还有一个更细的设计NMS 的 IoU 阈值取 0.7比常规检测任务常用的 0.5 更宽松。原因在于这里的目标不是每个物体只保留一个框而是把语义上有区分度的区域都保留下来。一个人和一个人加自行车的重叠区域对生成字幕来说都有用不该互相杀掉。同一个检测器在不同任务上的后处理参数可以完全不同——这也是区域编码器和检测器的又一个差异。3. Visual Genome为什么 80 类的检测器撑不起一个字幕模型特征提取管线本身是通用的真正决定区域语义质量的是检测器在什么数据上训练。这个项目选择 Visual GenomeVG而不是当时更主流的 MSCOCO 检测标注是一个深思熟虑的设计决策。可以用一句话概括COCO 的 80 类教会检测器什么是完整的物体VG 的密集标注教会检测器什么是值得说一句的区域。3.1 COCO 80 类不够类目粒度决定区域语义粒度一个直觉用 COCO 检测器提区域特征出来的区域大概率落在 person、car、dog 这 80 类里而一句字幕里的描述往往比这细得多——戴帽子的骑手红色的小狗。如果检测器根本没见过戴帽子的人这个类它要么把所有东西归到 person要么把一个完整语义单元切成碎片。COCO 的类目是物体级的而字幕和 VQA 需要的是可命名实体级的区域。更关键的问题在于标注粒度。MSCOCO 的检测标注是稀疏的一张图平均只有 7.7 个实例框大量小物体、属性和背景里的可描述实体根本没有标注。检测器在这样一套标注上学会的前景概念偏向于在 IoU 竞争里胜出的完整物体。而 Visual Genome 的标注来自区域描述而不是严格的目标框它的边界框更像一句话提到某个东西时眼睛扫过的范围天然和人类描述习惯对齐。把两个数据源摆在一起看差异一目了然训练数据类别数标注粒度区域与语言的关系MSCOCO 检测标注80完整实例框弱框与描述不直接对应Visual Genome千级含属性区域描述、属性、关系强区域约等于可命名实体这张表也解释了为什么这个项目里换数据集的收益比换骨干网络还大区域特征的语义颗粒度主要由训练数据决定而不是由网络结构决定。3.2 VG 的密集标注区域描述、属性与关系Visual Genome 的体量摆在那里超过 10 万张图像、约 170 万条区域描述、数十万个关系三元组。检测器在这套数据上训练能学到的前景概念库达到千级类别并且大量标注本身带有属性和关系信息等于告诉检测器有帽子和人在骑车这类信息也应当被一个区域捕捉到。于是区域特征里的 2048 维向量不再是这是什么物体的编码而是这里有什么可说的东西的编码。这一点对图像字幕image captioning极其重要。字幕模型每步生成一个词都需要从区域特征里读出一个可命名的实体或属性。如果检测器只见过 80 类它在一张包含戴着草帽的游客的图里只能给出一个模糊的 person 区域属性草帽根本没有对应的区域颗粒度可以承载。换成 VG 训练的检测器后帽子和人都可能被单独框出来下游模型就有了把形容词落到视觉证据上的能力。3.3 类别概率自下而上路线里藏着的自上而下部件区域特征包里除了 2048 维向量和框坐标还附带一份检测器的类别概率分布。这个分布很容易被忽略但它很关键它把这个区域最像什么显式地交给下游模型。对 VQA 来说问狗是什么颜色和问车是什么颜色模型可以直接拿区域类别分布做条件而不是从特征向量里重新猜类别。我一般会这么理解Faster R-CNN 的分类分支是自下而上路线里偷偷藏的一个自上而下部件——位置证据来自图像本身类别知识来自训练数据。两者拼在一起才是对区域完整的描述。这也解释了为什么仓库的特征包要把框坐标、类别概率、视觉特征三者捆绑输出少了任何一项下游模型的输入空间都不完整。后面会看到VQA 模型对这类别概率的依赖比字幕模型更明显。4. Top-Down 双 LSTM提问者与答题者如何共享同一份区域证据有了区域特征剩下的问题是怎么消费它。图像字幕和视觉问答visual question answering在这个项目里共用同一套视觉特征区别只在上层模型的结构和训练目标。字幕侧用的是up-down双 LSTM名字很直白bottom-up 负责提供区域top-down 负责决定每一步看哪里。4.1 双 LSTM 字幕解码器一个负责问一个负责答字幕解码器由两个 LSTM 组成这是论文里叫top-down attention的原因。第一个 LSTM 叫注意力 LSTM它把上一时刻语言 LSTM 的隐状态和当前词向量拼起来输出一个查询向量这个查询向量去和所有区域特征打分得到注意力权重加权出上下文向量。第二个 LSTM 叫语言 LSTM它把注意力上下文和注意力 LSTM 的输出拼起来再预测下一个词。一个形象的类比注意力 LSTM 是提问者每步都在问下一步该看哪个区域语言 LSTM 是答题者拿着提问者给的视觉证据继续造句。# 双 LSTM 注意力单元结构示意对应论文公式的简化复刻非仓库原码 # 输入: img_features [K, 2048], prev_word_emb [batch, 512] # 隐层: attn_lstm / lang_lstm, hidden_size 1024 def one_step(prev_lang_h, prev_word_emb): # 1) 注意力 LSTM 的输入上一时刻语言隐状态拼接当前词向量 x_att torch.cat([prev_lang_h, prev_word_emb], dim1) # [batch, 1536] h_att attn_lstm(x_att) # [batch, 1024] # 2) 用 h_att 对每个区域打分 - softmax # score_i w^T * tanh(W_v * v_i W_h * h_att) scores attn_proj(torch.tanh( region_proj(img_features).unsqueeze(0) # [1, K, 512] attn_hid_proj(h_att).unsqueeze(1))) # [batch, 1, 512] alpha torch.softmax(scores.squeeze(-1), dim1) # [batch, K] # 3) 上下文区域特征的加权和 context torch.sum( alpha.unsqueeze(-1) * img_features.unsqueeze(0), dim1) # [batch, 2048] # 4) 语言 LSTM 的输入上下文拼接注意力隐状态 x_lang torch.cat([context, h_att], dim1) # [batch, 20481024] h_lang lang_lstm(x_lang) # [batch, 1024] return h_lang, alpha代码里有几个参数值得展开。区域特征 2048 维先经过一个线性投影压到 512 维目的是在和查询向量相加前统一尺度注意力 LSTM 的隐状态是 1024 维也投影到 512 维再参与打分。打分函数用的是拼接加双曲正切的加性注意力而不是点积注意力——区域向量维度高点积容易让注意力权重两极分化加性打分在小 K几十个区域的场景下判别力更稳。语言 LSTM 的输入把上下文和查询向量都给它等于告诉答题者你既看到了视觉证据也记得刚才问了什么。4.2 训练两段式交叉熵预热CIDEr 自批判光靠交叉熵训练出来的字幕模型能生成通顺句子但评测指标未必好看。原因在于交叉熵优化的是每一步词的概率评测指标CIDEr、BLEU、ROUGE却是句子级别的匹配分数两者目标存在错位。项目采用的做法是先交叉熵训练到收敛再用自批判序列训练SCST继续优化把字幕生成当成强化学习问题用 CIDEr 作为奖励模型的贪婪解码结果作为 baseline 来降低方差。SCST 的具体流程是对同一份视觉输入模型分别做一次采样解码和一次贪婪解码用采样句子的 CIDEr 减去贪婪句子的 CIDEr 作为优势估计再去反向传播。这招在当时几乎成为字幕训练的标配因为它不需要额外的 critic 网络——贪婪解码就是现成的 baseline省内存还不容易出现训练漂移。论文报告里交叉熵阶段 CIDEr-D 大约在 113 分SCST 优化后能提升到 120 分左右提升主要来自句子级匹配目标带来的更自信的措辞。4.3 VQA同一个特征换一个问句编码器图像字幕和视觉问答在这套特征上的差别只在消费方式上字幕用语言 LSTM 逐步生成词VQA 则把整个问题编码成一个向量再和区域特征做一次注意力最后把问题向量加加权区域特征喂给分类器预测答案。VQA 模型的关键在于问句要先落地问题编码器读完整个问题得到 q对第 i 个区域计算一个注意力分数用来衡量这个区域跟问题有多相关上下文是区域特征的加权和再拼接 q 和上下文过一个多层感知机在答案词表上做分类。VQA 侧有三个工程选择值得记住。第一答案只保留训练集中出现次数最多的前 N 个避免长尾噪音一般取 3000 左右。第二区域类别概率会直接拼接进区域特征回答有几个什么颜色这类问题几乎全靠它这正是第 3 章说的类别先验落地的位置。第三注意力权重和框坐标可以一起输出方便做可视化。仓库配套的 Jupyter notebook 就是这么用的左边原图叠加检测框和类别名右边画注意力权重热区。模型答错一道题时先看注意力落在哪往往比看损失曲线更快定位问题。5. 避坑跑这套 Caffe 代码最容易撞上的五面墙这套代码的机制不难懂难的是复现时那些看起来没问题但指标就是不对的时刻。下面五条按我见过的踩坑频率排序每一条都有具体现象、原因和解决办法。5.1 自己提的特征和预提取特征不是一个分布现象用仓库给的 MSCOCO 预提取特征训练一切正常换成自己跑检测器提取的特征指标掉好几个点模型像换了个数据集。原因预提取特征来自固定的 Caffe 模型和固定的预处理流程。只要本地编译的 Caffe 版本、prototxt、图像缩放尺度或者 NMS 阈值和原来差一点区域的框和特征值都会漂移而下游模型对特征分布极其敏感。解决要么完全用官方特征包要么把自己提取特征的全链路固定下来先做一轮小规模对比实验确认两套特征在同一验证子集上指标一致。两套来源的特征不要混用。5.2 显存不够检测器和字幕模型不能同时跑现象想在同一个 GPU 上先跑 Faster R-CNN 提特征再就地训练双 LSTM结果直接 OOMResNet-101 的前向都推不动。原因检测器在以 600 像素短边为输入时单图显存占用已经不低字幕训练还要保存 LSTM 全部时间步的梯度两者叠加必然爆显存。解决分阶段跑。特征提取是离线任务跑一次把区域特征存成文件训练时只读文件训练阶段让检测器完全不占显存。这也是检测器加上层模型两段式的工程红利——特征缓存让两个阶段可以各自调优互不干扰。5.3 用 COCO 检测器替代 Visual Genome 检测器现象把区域特征换成 COCO 检测器的产物字幕质量肉眼可见下降尤其对颜色、材质等属性描述以及高频小物体。原因COCO 的 80 类里没有属性标注也没有区域描述级别的标注检测器学出来的前景语义颗粒度不足以支撑字幕里的形容词和小实体。解决坚持用 Visual Genome 训练的检测器。如果实在要换至少要确认下游模型输入里那份类别概率分布没有被丢弃否则区域特征只剩位置加外观语义信息损失很大。5.4 注意力可视化是糊的现象Jupyter notebook 里画出的注意力权重分布非常均匀每个区域都亮框叠成一团看不出模型到底在看什么。原因常见有三种。一是 NMS 阈值设得太高导致冗余框太多softmax 被稀释二是误把 7×7 的网格空间注意力当成区域特征喂给了上层模型三是可视化代码里忘记把归一化坐标还原回图像分辨率。解决先检查区域数量是否落在 10 到 100 之间再确认特征来源是区域特征而不是整图网格最后检查可视化坐标变换。糊的注意力通常是数据问题不是模型问题。5.5 SCST 阶段训练震荡现象交叉熵阶段 loss 正常下降切到 CIDEr 自批判后验证集 CIDEr 先是猛涨几个 epoch 后又突然暴跌甚至退回交叉熵水平。原因SCST 用贪婪解码做 baseline而 baseline 在训练初期本身就不稳定CIDEr 奖励在句子短、样本少时方差很大学习率没降下来就会局部震荡。解决切到 SCST 时把学习率降一个量级前几个 epoch 让贪婪解码保持固定权重不更新一旦震荡回退到最后一次验证集最优的 checkpoint用更低学习率继续。血泪经验是SCST 只贡献最后百分之十的提升前面百分之九十靠交叉熵把底子打好。6. 不可微的检测器一个缺陷为什么反而成了红利这套两段式结构最常被诟病的点是上游不可微Faster R-CNN 在 Visual Genome 上训练完就冻结了下游字幕和 VQA 模型无法把这个任务需要看哪里的梯度传回检测器。按端到端的理想这确实是个缺陷——理论上联合训练可以让检测器针对字幕任务重新调整区域划分。但事实是端到端联合训练检测器和序列模型训练极难收敛显存消耗巨大很长时间里属于能做但不好做的状态。反过来看冻结检测器带来的工程收益被低估了。特征一旦被冻结就变成可缓存、可复用、可公平比对的中间产物。任何下游模型的改进都可以在同一份特征上做消融不会因为检测器顺带被训好了而混淆变量的作用。研究社区后来反复拿这套特征当基线恰恰是因为它的不可变性让它成为一把可靠的尺子。这个取舍的背后是一个更普遍的规律在计算资源有限时把昂贵且难训的部分变成离线产物往往比追求理论上的端到端更划算。后来的视觉-语言预训练模型把区域特征抬进自注意力序列本质上仍是 bottom-up 的思路先用外部检测器切出语义单元再让语言模型对它们做注意力。再后来的纯 patch 路线规则网格加 Transformer看似回到原点但它解决的是另一个问题——取消检测器这个不可微瓶颈代价是要用海量数据重新学哪里值得看。两条路线的胜负由数据量决定而注意力应落在语义对象上这个思想始终没被推翻。从那以后我接到任何一个图像-文本任务第一件事都是问图像特征从哪来是规则网格还是检测出的区域这个问题的答案决定了项目是站在更高的起点上还是从零开始补课。先搞清楚特征源头再谈模型结构——这个顺序帮我避开了无数次复现不出来的困境。希望帮到你。本文还有配套的精品资源点击获取

自下而上注意力与Faster R-CNN：图像字幕和VQA的区域特征提取

相关推荐

OpenCV边缘保留滤波详解：双边滤波与均值漂移滤波原理及调参

工业智能体落地实战：数据治理、任务拆解与人工接管的工程经验

DBSCAN密度聚类原理与实战：识别不规则簇与噪声

更多资讯

Python爬虫实战：抓取豆瓣短评与影评的完整指南

HIS对接上海五期医保接口：黑匣子模式与实战避坑

CentOS 6.5 虚拟机部署 Oracle 10g 与自动化测试环境实战

【PBAP】规范精讲[5]: 蓝牙PBAP协议实操核心——四大核心函数的交互逻辑与实现细节

AI写论文工具实测：宏智树AI如何实现毕业智能通关

深度强化学习游戏环境构建：ARPG0.1实践拆解

今日更新

Cephadm实战指南：Linux系统工程师的生产级Ceph集群部署与排障

不想再被 Token 额度卡脖子？把免费 API 接入 WorkBuddy 的完整教程

ITK中SpatialObject几何体系解析：坐标系、变换与管道集成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？