尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
MLLM轻量化论文阅读2
Efficient Video Sampling, EVS这篇文章发行较早在2025.10动机从图像到视频视频是连续的帧在连续帧之间存在大量的空间冗余想通过在连续帧之间保持不变的空间区域从而减少冗余方法将每一帧划分成大小相同但不重叠的patch对于同一空间位置的patch如果相同则冗余那么直接pruning掉。计算相同位置相邻帧的差值给差值可以理解成变化率进行排序根据预设的剪枝率保留变化率靠前的所以不同帧可能保留的token数是不一样的。1.在计算差值在原始像素空间上首先将每一帧划分为不重叠的patch_size*patch_size的小块然后对于每一帧在对应的块上做一个差分。这样做不需要过encoder但是只是在像素级别做缺乏语义。在视觉特征空间上如果在正常过encoder后得到的Embedding空间考虑了语义文章里面对这两种方法也做了个消融的确过encoder之后的效果更好。2.保留原始位置 ID如上图所示第二种是按顺序编号会丧失原来的空间顺序第三种就是保留原始的position ID但是论文经过对比得到了一个结论直接 plug-in 使用时Sequential 和 Position-preserving 差距不大有时 Sequential 更稳经过 uptraining 后Position-preserving 明显更好因为模型学会了利用稀疏位置 ID这个uptraining可以理解成增量训练目的是让 VLM 适应 EVS 造成的稀疏视觉 token 输入。总结来自G老师EVS 是一个基于相邻帧 patch 变化量的视频视觉 token 剪枝方法它保留第一帧和后续帧中变化明显的 patch删除时间上静态重复的 patch并通过保留原始 position id 与可选 uptraining让 VLM 在更少视觉 token 下保持较好视频理解性能CVPR2026评估token重要性 文本引导下的注意力分数和multi-head的多注意力头的权重不同文章认为在注意力层中多头注意力的不同head之间权重应该是不一样的可能在有些感知任务或者其他特定的任务上面一些head至关重要所以哪些head是重要的这个是需要进行前期评判确定的。如何判断head的重要性呢文章是在常见的几个benchmark上面采用消融实验的方式注意力头都在时的最后效果去掉一个注意力头时的效果这就知道该注意力头本身对于任务的重要性最后进行归一化的得到该注意力头权重。对于文本引导的注意力为了消除位置偏差并确保注意力仅取决于文本与视觉之间的语义对应关系作者省略了RoPE操作计算位置无关的注意力矩阵上图比较清晰明了head_weight是根据前面对每个head的消融提前计算出来的首先这个计算是存疑的不同任务需要关注的地方不同有些任务侧重全局有些任务侧重局部或者是纹理这个head_weight很难说是不是所有任务都能迁移。这个文本引导去掉了ROPE抹除了位置误差ROPE本身是给 q k 矩阵注入了绝对位置信息用文本的q去查询每个vision token的 k那么最后得出的注意力本身其实是不仅是文本对于vision token的注意力还会掺杂着一些位置信息(这个我之前看过有大佬在写数学公式推导但是的确没看太明白)所以把ROPE去掉那么存在的就是文本引导下的注意力分布规避了位置的影响。这个作者也后面做了消融实验的确不加ROPE效果会更好一些。最后计算每个token在每个head注意力权重以及对应文本引导下的注意力得分进行加权得出每个token的得分设定个剪枝率得分排序后进行pruning。以下是实验结果作者比较的是几个典型的方法包括基于注意力基于相似度基于注意力和相似度的相信相信的力量不断积累加油坚持
RELATED

相关推荐

灰度发布的资料

灰度发布的资料

灰度发布(也叫金丝雀发布)是一种能实现版本平滑过渡的软件发布方式,核心是通过逐步扩大新版本的用户覆盖范围,大幅降低全量上线的风险,是当前互联网行业主流的发布保障手段。 一、核心基础定义 灰度发布的核心逻辑是…

📅 2026/10/14 8:08:30
如何优化Llama-3.1-8B_rai_1.7.1_npu_4K在AMD NPU上的推理性能:完整指南 [特殊字符]

如何优化Llama-3.1-8B_rai_1.7.1_npu_4K在AMD NPU上的推理性能:完整指南 [特殊字符]

如何优化Llama-3.1-8B_rai_1.7.1_npu_4K在AMD NPU上的推理性能:完整指南 🚀 【免费下载链接】Llama-3.1-8B_rai_1.7.1_npu_4K 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.7.1_npu_4K 想要在AMD NPU上获得Llama-3.1-8B…

📅 2026/11/11 4:17:15
把胶卷装进暗网:柯达遭顶流黑客“洗劫”,220万张“底片”正被倒数销毁?

把胶卷装进暗网:柯达遭顶流黑客“洗劫”,220万张“底片”正被倒数销毁?

最新内容请微信搜索关注获取如果你对“柯达(Kodak)”的记忆还停留在那些泛黄的胶卷、街角绿底黄字的冲印店,或者“分享瞬间,分享生活”的温情广告语中,那么今天这则来自科技世界的最新爆炸性消息,可能会彻底…

📅 2026/10/15 14:05:02
MORE NEWS

更多资讯

📰

合肥电工证科目一真实经历:学历不高怕报不上名?看这里全搞定

合肥电工证科目一真实经历:学历不高怕报不上名?看这里全搞定 我之前在工地当水电工,学历不高,干了七八年也没机会考证,怕报不上名、怕考试不过、怕花冤枉钱,心里一直没底。结果最近听说要考合肥电工证科目一,我抱着试试看的心态去准备,居然一次通过了…

📰

北京市电工证复审报名费多少钱 网上查询最快搞定

北京市电工证复审报名费多少钱 网上查询最快搞定 你现在急需特种作业证才能上岗找工作,但偏偏遇到北京市电工证复审的报名费问题,不知道怎么网上查询,更不知道报名流程有多复杂?别急,这篇文章直接讲透【北京市电工证复审】的报名费、流程和避坑经验,看…

📰

临沂电工证怎么考的啊 别踩坑这些细节你必须知道

临沂电工证怎么考的啊 别踩坑这些细节你必须知道 证书过期了不知道怎么复审延期,这事儿真不是小事。不少在临沂的电工从业者,尤其是从其他岗位转过来的,可能在遇到证书到期后才发现问题。别急,先看看你怎么被坑的,再看看怎么补救。…

📰

辽宁电工证报考要求怎么报名?过期了别慌,复审流程全在这

辽宁电工证报考要求怎么报名?过期了别慌,复审流程全在这 证书过期了不知道怎么复审延期?辽宁电工证报考要求怎么报名?这些问题你不是一个人在战斗,但解决方法其实就在这篇文章里。今天咱们不绕弯子,直接讲干货,帮你搞懂电工证的报考、复审和日常职责。…

📰

现在考电工证要培训吗官方回应来了 外省证书转过来有新规

现在考电工证要培训吗官方回应来了 外省证书转过来有新规 之前考的证在外省能不能转过来?这几乎是所有想转行、想考证或者正在考证路上的朋友最关心的问题。而关于“现在考电工证要培训吗”这个问题,也频繁出现在各大论坛和咨询平台,不少小伙伴反映自己对…

📰

黄岛电工证报名机构怎么选才不交冤枉钱?官方报名入口在这

黄岛电工证报名机构怎么选才不交冤枉钱?官方报名入口在这 怕考不过白交培训费?黄岛电工证报名机构选错了,钱花了还拿不到证,这事儿谁没经历过?尤其现在电工证越来越严格,很多人怕走弯路,怕被坑。今天就来聊聊黄岛电工证报名机构怎么选、官方报名入口在…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬