SAM-HQ 深度解析256×256 高分辨率特征如何把零样本分割边缘做精细【免费下载链接】sam-hqSegment Anything in High Quality [NeurIPS 2023]项目地址: https://gitcode.com/gh_mirrors/sa/sam-hqHQ-SAMSAM-HQ是 NeurIPS 2023 论文《Segment Anything in High Quality》的官方开源实现在原版 SAM 的图像编码器、提示接口和权重全部保留的前提下把掩码解码器的特征分辨率从 64×64 提到 256×256零样本分割的边缘精度随之明显变好。最大亮点参数量只增加不到 1M却在 COCO、DAVIS 等数据集上稳定超过基线。一、为什么需要更高质量的零样本分割原版 SAM 用 11 亿掩码训练泛化能力确实强但掩码质量在三类场景下会掉链子边缘锯齿与模糊毛发、纱线、格栅这类高频细节处64×64 的解码特征分辨率不够边界容易糊小物体与精细结构丢失分辨率低导致掩码贴不住细窄部位羽毛、叶片、手指缝隙密集多目标互相干扰COCO 这类多目标场景下单个掩码的稳定性下降容易出现粘连或错位。HQ-SAM 的总体思路很克制不动编码器只在解码端做两件事——融合早期层特征拉高特征分辨率再加一个可学习的 HQ 输出 Token 对基础掩码做修正。二、高分辨率特征融合与 HQ 输出 Token 的实现拆解1. 高分辨率特征融合64×64 到 256×256类比用望远镜看全景会失焦换成广角定调 长焦补细节的双镜头组合。核心思想原版解码器只用 ViT 最终层输出64×64语义强但细节弱HQ-SAM 额外取出 ViT 第一组全局注意力块后的早期层特征256×256细节多但语义弱。关键设计见 MaskDecoderHQ 源码两路特征分别过独立的卷积块含转置卷积上采样对齐空间尺寸与通道数再逐元素相加vit_features interm_embeddings[0] # 早期层 ViT 特征256×256 hq_features self.embedding_encoder(image_embeddings) \ self.compress_vit_feat(vit_features) # 融合为 256×256收益掩码解码真正跑在 256×256 的特征图上比原版 64×64 高 16 倍面积早期层保留的高频细节不再被深层下采样稀释。2. HQ 输出 Token 与误差修正类比老裁缝做基础版裁片质检员拿着放大镜只挑毛病、做修补。核心思想在解码器里新增一个可学习的hf_tokenHQ-Output-Token和一条独立 MLP多产出一路HQ 掩码最终掩码 SAM 基础掩码 HQ 掩码相当于对基础结果做残差修正。关键设计同样在 mask_decoder_hq.py 的forward中if hq_token_only: masks masks_hq # 单物体直接输出 HQ 掩码 else: masks masks_sam masks_hq # 多物体基础掩码 HQ 修正收益SAM 的原始权重与提示接口点、框、掩码输入完全不变只多一个 token、一条小 MLP 和几个小卷积块训练也便宜——官方用 44K 精细掩码数据集、8 卡 GPU 约 4 小时训完。三、SAM vs HQ-SAM 效果验证官方给出的零样本基准均为 HQ-SAM 2 对比 SAM2.1同检测器、同提示条件数据集指标基线HQ-SAM 2相对提升COCO零样本图像分割AP 单掩码模式50.050.90.9COCO零样本图像分割AP 多掩码模式48.350.42.1DAVIS val视频分割JF89.891.01.2SegInW 野外基准Mean AP48.749.60.9两个值得注意的旁证多掩码模式提升比单掩码大 1 分以上说明误差修正机制在多目标场景收益更明显轻量版 Light HQ-SAMTinyViT 编码器在 COCO 上比 MobileSAM 高 0.7 AP45.0 vs 44.3速度达到 41.2 FPS说明这套改进没有牺牲效率。四、四类典型场景怎么配单物体精细分割设hq_token_onlyTrue直接采用 HQ 掩码边缘最干净。示例脚本 demo/demo_hqsam.py测试图在demo/input_imgs/。多物体密集场景保持默认hq_token_onlyFalse让多掩码输出 HQ 修正兜底COCO 类图像推荐这个配置。实时轻量部署用vit_tiny权重Light HQ-SAM41.2 FPS脚本 demo/demo_hqsam_light.py。视频分割与跟踪用 HQ-SAM 2 的build_sam2_hq_video_predictor脚本 demo_hqsam2.py可参考sam-hq2/notebooks/里的交互示例。结语HQ-SAM 的贡献路径很清晰保留 SAM 的全部权重与提示接口只加一个可学习 Token 和几层小卷积就把掩码解码的特征分辨率拉到 256×256换来 COCO 零样本 50.9 AP 的实测结果且已被 Hugging Face Transformers 收录。建议直接跑 demo/demo_hqsam.py 看边缘差异或按仓库 README 的 Quick Installation 一节装好环境上手。【免费下载链接】sam-hqSegment Anything in High Quality [NeurIPS 2023]项目地址: https://gitcode.com/gh_mirrors/sa/sam-hq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
SAM-HQ 深度解析256×256 高分辨率特征如何把零样本分割边缘做精细【免费下载链接】sam-hqSegment Anything in High Quality [NeurIPS 2023]项目地址: https://gitcode.com/gh_mirrors/sa/sam-hqHQ-SAMSAM-HQ是 NeurIPS 2023 论文《Segment Anything in High Quality》的官方开源实现在原版 SAM 的图像编码器、提示接口和权重全部保留的前提下把掩码解码器的特征分辨率从 64×64 提到 256×256零样本分割的边缘精度随之明显变好。最大亮点参数量只增加不到 1M却在 COCO、DAVIS 等数据集上稳定超过基线。一、为什么需要更高质量的零样本分割原版 SAM 用 11 亿掩码训练泛化能力确实强但掩码质量在三类场景下会掉链子边缘锯齿与模糊毛发、纱线、格栅这类高频细节处64×64 的解码特征分辨率不够边界容易糊小物体与精细结构丢失分辨率低导致掩码贴不住细窄部位羽毛、叶片、手指缝隙密集多目标互相干扰COCO 这类多目标场景下单个掩码的稳定性下降容易出现粘连或错位。HQ-SAM 的总体思路很克制不动编码器只在解码端做两件事——融合早期层特征拉高特征分辨率再加一个可学习的 HQ 输出 Token 对基础掩码做修正。二、高分辨率特征融合与 HQ 输出 Token 的实现拆解1. 高分辨率特征融合64×64 到 256×256类比用望远镜看全景会失焦换成广角定调 长焦补细节的双镜头组合。核心思想原版解码器只用 ViT 最终层输出64×64语义强但细节弱HQ-SAM 额外取出 ViT 第一组全局注意力块后的早期层特征256×256细节多但语义弱。关键设计见 MaskDecoderHQ 源码两路特征分别过独立的卷积块含转置卷积上采样对齐空间尺寸与通道数再逐元素相加vit_features interm_embeddings[0] # 早期层 ViT 特征256×256 hq_features self.embedding_encoder(image_embeddings) \ self.compress_vit_feat(vit_features) # 融合为 256×256收益掩码解码真正跑在 256×256 的特征图上比原版 64×64 高 16 倍面积早期层保留的高频细节不再被深层下采样稀释。2. HQ 输出 Token 与误差修正类比老裁缝做基础版裁片质检员拿着放大镜只挑毛病、做修补。核心思想在解码器里新增一个可学习的hf_tokenHQ-Output-Token和一条独立 MLP多产出一路HQ 掩码最终掩码 SAM 基础掩码 HQ 掩码相当于对基础结果做残差修正。关键设计同样在 mask_decoder_hq.py 的forward中if hq_token_only: masks masks_hq # 单物体直接输出 HQ 掩码 else: masks masks_sam masks_hq # 多物体基础掩码 HQ 修正收益SAM 的原始权重与提示接口点、框、掩码输入完全不变只多一个 token、一条小 MLP 和几个小卷积块训练也便宜——官方用 44K 精细掩码数据集、8 卡 GPU 约 4 小时训完。三、SAM vs HQ-SAM 效果验证官方给出的零样本基准均为 HQ-SAM 2 对比 SAM2.1同检测器、同提示条件数据集指标基线HQ-SAM 2相对提升COCO零样本图像分割AP 单掩码模式50.050.90.9COCO零样本图像分割AP 多掩码模式48.350.42.1DAVIS val视频分割JF89.891.01.2SegInW 野外基准Mean AP48.749.60.9两个值得注意的旁证多掩码模式提升比单掩码大 1 分以上说明误差修正机制在多目标场景收益更明显轻量版 Light HQ-SAMTinyViT 编码器在 COCO 上比 MobileSAM 高 0.7 AP45.0 vs 44.3速度达到 41.2 FPS说明这套改进没有牺牲效率。四、四类典型场景怎么配单物体精细分割设hq_token_onlyTrue直接采用 HQ 掩码边缘最干净。示例脚本 demo/demo_hqsam.py测试图在demo/input_imgs/。多物体密集场景保持默认hq_token_onlyFalse让多掩码输出 HQ 修正兜底COCO 类图像推荐这个配置。实时轻量部署用vit_tiny权重Light HQ-SAM41.2 FPS脚本 demo/demo_hqsam_light.py。视频分割与跟踪用 HQ-SAM 2 的build_sam2_hq_video_predictor脚本 demo_hqsam2.py可参考sam-hq2/notebooks/里的交互示例。结语HQ-SAM 的贡献路径很清晰保留 SAM 的全部权重与提示接口只加一个可学习 Token 和几层小卷积就把掩码解码的特征分辨率拉到 256×256换来 COCO 零样本 50.9 AP 的实测结果且已被 Hugging Face Transformers 收录。建议直接跑 demo/demo_hqsam.py 看边缘差异或按仓库 README 的 Quick Installation 一节装好环境上手。【免费下载链接】sam-hqSegment Anything in High Quality [NeurIPS 2023]项目地址: https://gitcode.com/gh_mirrors/sa/sam-hq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
