尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
SmoothGuard: Defending Multimodal Large Language Models with Noise Perturbation and Clustering Ag...
文章总结与翻译一、主要内容本文针对多模态大型语言模型(MLLMs)易受对抗性操纵的问题,提出了一种轻量级、模型无关的防御框架SmoothGuard。该框架通过对图像、音频等连续模态注入高斯噪声生成多个扰动输入,将这些输入与原始文本输入一同传入MLLM得到多个候选输出,再利用基于RoBERTa-base编码器的嵌入聚类筛选出受对抗性影响的预测,最终通过 majority voting 确定稳定可靠的输出。实验在POPE、LLaVA-Bench(In-the-Wild)和MMSafetyBench三个基准数据集上展开,针对Qwen2.5-VL-7B和LLaVA-1.5-7B两种模型,从鲁棒性(对抗性攻击下的防御效果)、效用性(良性输入下的任务表现)两方面进行评估,并通过消融实验确定0.1-0.2为最优噪声范围。结果表明,SmoothGuard在显著降低对抗性攻击成功率(ASR)的同时,能保持模型在多项任务中的竞争力,无需模型重训练或架构修改,可直接适配HuggingFace生态中的各类MLLMs。二、创新点统一的多模态防御方案:首次将随机噪声注入与聚类聚合相结合,同时覆盖图像和音频两种连续模态,解决了现有防御方法多针对单一模态或简化多模态场景的局限。轻量级且模型无关:无需微调模型或修改架构,属于即插即用式方案,可直接应用于不同MLLMs,适配资源受限场景下的推理阶段防御。聚类与情感分析融合的聚合策略:通过嵌入聚类分离清洁样本输
RELATED

相关推荐

C++并发数据结构设计:从锁到无锁的性能演进与实战

C++并发数据结构设计:从锁到无锁的性能演进与实战

1. 项目概述:为什么我们需要并发数据结构?如果你写过C多线程程序,并且尝试过让多个线程同时读写同一个std::vector或std::map,大概率已经见识过数据竞争、段错误或者难以复现的诡异bug。这就是传统数据结构在多线程环境下的直接困…

📅 2026/8/22 0:42:02
灯塔AI智能体:多模态认知与可信决策的技术突破

灯塔AI智能体:多模态认知与可信决策的技术突破

1. 灯塔AI智能体:数智科技领域的创新标杆2025-2026年度中国数智科技领域最具含金量的奖项之一——"年度十大创新力产品"评选结果揭晓,灯塔AI智能体凭借其前沿的技术架构和卓越的产业应用价值成功入选。这个由国内顶尖技术团队打造的AI智能体平…

📅 2026/8/20 20:42:32
[C++20/核心机制] 为什么我的重载函数总是“被隐藏”?深度搞懂名称查找与重载决议,规避编译诡异报错

[C++20/核心机制] 为什么我的重载函数总是“被隐藏”?深度搞懂名称查找与重载决议,规避编译诡异报错

导读摘要:本文深度拆解了 C 编译器的两大核心机制:名称查找与重载决议。我们将从非限定与限定查找的逻辑出发,揭示“名称隐藏(Name Hiding)”的本质,并通俗阐述 ADL(参数依赖查找/Koenig 查找&a…

📅 2026/8/20 20:42:39
MORE NEWS

更多资讯

📰

Iosevka 24.1.4 更新解析:新增字符全览与字形修复背后的源码逻辑

Iosevka 24.1.4 更新解析:新增字符全览与字形修复背后的源码逻辑 【免费下载链接】Iosevka Versatile typeface for code, from code. 项目地址: https://gitcode.com/GitHub_Trending/io/Iosevka Iosevka 是一套"由代码生成的代码字体"&#xff0…

📰

ESP32-S2双模收音机:ESP-IDF+ESP-ADF+LVGL实战解析

简介:一套围绕ESP32S2的嵌入式收音机项目资料包,基于ESP-IDF、ESP-ADF与LVGL框架实现网络收音机与FM收音机功能,面向毕业设计、课程设计、工程实训等嵌入式开发场景。压缩包共1519个文件、48.96MB,主要内容包括C与H源码、Python辅…

📰

Sa-Token Maven 依赖拉取失败排查指南:从本地缓存、镜像源到父子工程的完整解决方案

Sa-Token Maven 依赖拉取失败排查指南:从本地缓存、镜像源到父子工程的完整解决方案 【免费下载链接】Sa-Token ✨ 开源、免费、一站式 Java 权限认证框架,让鉴权变得简单、优雅!—— 登录认证、权限认证、分布式 Session 会话、微服务网关鉴…

📰

STM32工业级环境监测系统设计实战

1. 这不是又一个“DHT11读温湿度”的Demo,而是一套可落地的环境质量监测系统你在网上搜“STM32 环境监测”,十有八九点开是:一块STM32F103C8T6最小系统板,接一个DHT11传感器,串口打印几行温度湿度,再配上一…

📰

Telegraf 传输层安全(TLS)配置完全指南:客户端与服务端标准化 TLS 选项详解

Telegraf 传输层安全(TLS)配置完全指南:客户端与服务端标准化 TLS 选项详解 【免费下载链接】telegraf Agent for collecting, processing, aggregating, and writing metrics, logs, and other arbitrary data. 项目地址: https://gitcode…

📰

FunASR ModelScope 预训练模型库(Model Zoo)完全指南:模型目录、许可边界与 AutoModel 实战

FunASR ModelScope 预训练模型库(Model Zoo)完全指南:模型目录、许可边界与 AutoModel 实战 【免费下载链接】FunASR Open-source speech recognition toolkit for training, inference, streaming ASR, VAD, punctuation, speaker diarizati…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬