尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Ag...
文章总结与翻译一、主要内容本文针对多模态大型语言模型(MLLMs)易受对抗性操纵的问题,提出了一种轻量级、模型无关的防御框架SmoothGuard。该框架通过对图像、音频等连续模态注入高斯噪声生成多个扰动输入,将这些输入与原始文本输入一同传入MLLM得到多个候选输出,再利用基于RoBERTa-base编码器的嵌入聚类筛选出受对抗性影响的预测,最终通过 majority voting 确定稳定可靠的输出。实验在POPE、LLaVA-Bench(In-the-Wild)和MMSafetyBench三个基准数据集上展开,针对Qwen2.5-VL-7B和LLaVA-1.5-7B两种模型,从鲁棒性(对抗性攻击下的防御效果)、效用性(良性输入下的任务表现)两方面进行评估,并通过消融实验确定0.1-0.2为最优噪声范围。结果表明,SmoothGuard在显著降低对抗性攻击成功率(ASR)的同时,能保持模型在多项任务中的竞争力,无需模型重训练或架构修改,可直接适配HuggingFace生态中的各类MLLMs。二、创新点统一的多模态防御方案:首次将随机噪声注入与聚类聚合相结合,同时覆盖图像和音频两种连续模态,解决了现有防御方法多针对单一模态或简化多模态场景的局限。轻量级且模型无关:无需微调模型或修改架构,属于即插即用式方案,可直接应用于不同MLLMs,适配资源受限场景下的推理阶段防御。聚类与情感分析融合的聚合策略:通过嵌入聚类分离清洁样本输
RELATED

相关推荐

C++并发数据结构设计:从锁到无锁的性能演进与实战

C++并发数据结构设计:从锁到无锁的性能演进与实战

1. 项目概述:为什么我们需要并发数据结构?如果你写过C多线程程序,并且尝试过让多个线程同时读写同一个std::vector或std::map,大概率已经见识过数据竞争、段错误或者难以复现的诡异bug。这就是传统数据结构在多线程环境下的直接困…

📅 2026/10/20 12:49:09
灯塔AI智能体:多模态认知与可信决策的技术突破

灯塔AI智能体:多模态认知与可信决策的技术突破

1. 灯塔AI智能体:数智科技领域的创新标杆2025-2026年度中国数智科技领域最具含金量的奖项之一——"年度十大创新力产品"评选结果揭晓,灯塔AI智能体凭借其前沿的技术架构和卓越的产业应用价值成功入选。这个由国内顶尖技术团队打造的AI智能体平…

📅 2026/10/24 14:35:33
[C++20/核心机制] 为什么我的重载函数总是“被隐藏”?深度搞懂名称查找与重载决议,规避编译诡异报错

[C++20/核心机制] 为什么我的重载函数总是“被隐藏”?深度搞懂名称查找与重载决议,规避编译诡异报错

导读摘要:本文深度拆解了 C 编译器的两大核心机制:名称查找与重载决议。我们将从非限定与限定查找的逻辑出发,揭示“名称隐藏(Name Hiding)”的本质,并通俗阐述 ADL(参数依赖查找/Koenig 查找&a…

📅 2026/10/24 9:43:30
MORE NEWS

更多资讯

📰

工地太忙根本没时间复习考试?南京电工证报考费用内部消息全在这儿

工地太忙根本没时间复习考试?南京电工证报考费用内部消息全在这儿 工地太忙根本没时间复习考试,这事儿我懂,我自己就是从工地一线干起的。你可能已经干了几年活儿,但要考个电工证,心里还是打鼓,怕流程复杂、怕费用高、怕内容多。今天我就把…

📰

北湖哪里考电工证怎么选含金量高的培训机构

北湖哪里考电工证怎么选含金量高的培训机构 你是不是也和我一样, 不知道去哪报名怕被中介坑 ?尤其像北湖地区的电工证报考,信息杂乱、渠道多,一不小心就踩坑,耽误时间还花冤枉钱。电工证这玩意儿, 含金量…

📰

北海电工证查询怎么查?电子证书没过期也能考不过

北海电工证查询怎么查?电子证书没过期也能考不过 怕考不过白交培训费?北海电工证查询时,很多人没搞清楚电子证书的查询流程和考试要求,结果钱花了,证没拿到。别急,今天咱就从北海电工证查询的实际情况说起,帮你把关每一步。 电子证书≠万能通行证…

📰

北湖哪里考电工证多久拿证 外省证怎么转过来

北湖哪里考电工证多久拿证 外省证怎么转过来 之前考的证在外省能不能转过来?这个问题困扰了不少在北湖工作的电工。不管是低压还是高压电工证,很多人担心自己在外地考的证,回来之后还能不能用。答案是肯定的,…

📰

低压电工证企业会复审怎么网上查询

低压电工证企业会复审怎么网上查询 证书过期了不知道怎么复审延期,网上查询流程还不清楚?很多电工从业者都遇到过这个问题,特别是在企业岗位中,低压电工证作为从业必备资质,复审不及时就可能面临停工、罚款甚至被辞退。本文结合漯河房建工程从业者的实际…

📰

商丘电工证办理步骤多久拿证 外省证能转吗

商丘电工证办理步骤多久拿证 外省证能转吗 之前考的证在外省能不能转过来?这个问题困扰了很多人,特别是像你这样在外省工作、想在商丘长期发展的朋友。好消息是, 商丘电工证办理步骤 其实并不复杂,而且外省电工证也可以通过 河南省应急管理厅…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬