尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【Video】VideoMAE:Tube Masking与极高掩码率下的视频自监督预训练
note针对视频时间冗余和信息泄漏问题VideoMAE首创时序贯通的Tube Masking把掩码率拉到90%-95%逼模型学全局时空语义而非靠邻近帧“走捷径”。采用时空立方体嵌入非对称编解码架构仅把10%未掩码token喂给编码器大幅降低计算成本的同时完成像素级重建预训练。这套设计让vanilla ViT无需任何额外图像/标签数据仅靠几千条视频就能训出SOTA性能验证了“数据质量比数量更重要”的SSVP核心规律。文章目录note一、研究动机二、论文核心三、实验结果和分析总结一、研究动机《VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training》2022年视频Transformer训练依赖大数据的痛点训练高效的视频Vision Transformer (ViT) 通常需要超大规模的有标签数据集或ImageNet预训练模型从头训练视频Transformer在小/中规模数据集上效果很差且容易受图像模型的偏置影响。视频数据的特性挑战相比图像视频存在时间冗余相邻帧语义变化慢和时间相关性。若直接使用类似MAE的随机掩码模型容易通过相邻帧的未掩码区域“作弊”信息泄漏来重建像素而非学习高层时空语义结构。自监督视频预训练(SSVP)的需求探索如何仅利用视频数据本身无额外图像数据、无标签高效地预训练 vanilla ViT 骨干网络。二、论文核心VideoMAE 基于 Image-MAE 架构针对视频特性做了两项关键定制设计极高比例的 Tube Masking管道掩码极高比例采用90%~95%的掩码率远高于图像的75%。因视频时间冗余度高低掩码率任务太简单易导致信息泄漏极高掩码迫使模型理解整体时空结构而非依赖局部补全。Tube Masking时序通道掩码掩码在时序维度上“贯通”即对同一空间位置的cube在所有时间帧上都掩码或都不掩码。这防止模型在相邻帧找对应未掩码块来“走捷径”缓解静止或微运动区域的信息泄漏。时序下采样与立方体嵌入 (Cube Embedding)时序下采样先对视频帧做带步长的采样如K400 stride4, SSV2 stride2减少冗余。Cube Embedding将输入划分为2 × 16 × 16 2 \times 16 \times 162×16×16的时空立方体token通过联合时空注意力joint space-time attention建模时空依赖。非对称编解码器仅将未掩码的少量token约10%送入Encoder轻量Decoder负责重建所有掩码像素使用MSE损失预训练后丢弃Decoder用于下游微调。三、实验结果和分析论文在 K400、SSV2、UCF101、HMDB51、AVA 等数据集上验证数据高效性即使在极小规模数据集HMDB51仅约3.5k视频上不使用任何额外数据VideoMAE也能成功预训练显著优于从头训练和MoCo v3等对比学习方法。在小数据集上UCF101达91.3%HMDB51达62.6%ViT-B无外部数据。主数据集SOTA表现无外部数据Kinetics-400ViT-L 达85.2%ViT-H (320分辨率) 达87.4%。Something-Something V2强依赖时序推理ViT-L (32帧) 达75.4%大幅超越此前需外部数据的方法。关键消融实验结论掩码策略Tube Masking 90%~95% 掩码率最优随机掩码或帧掩码因信息泄漏效果较差。解码器深度视频重建比图像更需要一定深度的解码器默认4层浅解码器显存低但性能下降。损失函数MSE损失优于L1和Smooth L1。预训练数据域数据质量 数据数量域偏移domain shift影响大直接在目标数据集预训练通常优于在大规模异域数据如K400→SSV2上预训练。下游迁移AVA动作检测VideoMAE预训练模型在AVA上迁移良好ViT-H (K400无标签预训练) 达39.5 mAP显示学到的时空表征具备通用性。总结VideoMAE 证明通过极高掩码率的Tube Masking和时空立方体重建可以让视频MAE成为极其数据高效的自我监督学习者使 vanilla ViT 能在无额外数据、甚至几千个视频的极小规模数据上训练出高性能视频识别模型。
RELATED

相关推荐

AI算力军备竞赛:技术逻辑与行业影响

AI算力军备竞赛:技术逻辑与行业影响

1. 项目概述:AI算力军备竞赛的新拐点当Anthropic每月豪掷12.5亿美元采购算力的消息传出时,整个AI行业都在重新审视自己的战略规划。这个数字相当于许多中小型科技公司全年的研发预算,却被一家AI初创企业单纯用于GPU/TPU的租赁费用。我在云计算…

📅 2026/9/11 14:46:34
Ryujinx Switch模拟器实战指南:从零到完美的3个核心技巧

Ryujinx Switch模拟器实战指南:从零到完美的3个核心技巧

Ryujinx Switch模拟器实战指南:从零到完美的3个核心技巧 【免费下载链接】Ryujinx 用 C# 编写的实验性 Nintendo Switch 模拟器 项目地址: https://gitcode.com/GitHub_Trending/ry/Ryujinx 作为一名长期使用Ryujinx Switch模拟器的玩家,我发现很…

📅 2026/8/23 17:21:55
C++购物车系统课设:面向对象设计、策略模式与文件存储实战

C++购物车系统课设:面向对象设计、策略模式与文件存储实战

1. 项目概述与核心价值最近在辅导几个学弟学妹做C课程设计,发现“购物车系统”这个题目出现的频率相当高。乍一看,这似乎是个老生常谈的题目,无非就是增删改查。但当你真正上手,想把商品管理、优惠券和模拟支付这几个模块串起来&a…

📅 2026/8/23 17:21:55
MORE NEWS

更多资讯

📰

基于改进哈里斯鹰算法优化RBF网络的分类预测方法

1. 项目概述:当哈里斯鹰遇上RBF网络 在机器学习领域,分类预测一直是核心课题。传统的径向基函数网络(RBF)虽然具有结构简单、训练速度快的特点,但其中心点选取和权重确定往往依赖经验或随机初始化,导致模型…

📰

OpenAPI 3.1 规范生成实战:从设计优先到代码优先、验证与 SDK 生成的完整工作流

OpenAPI 3.1 规范生成实战:从设计优先到代码优先、验证与 SDK 生成的完整工作流 【免费下载链接】agents Multi-harness agentic plugin marketplace for Claude Code, Codex, Cursor, OpenCode, GitHub Copilot, and Google Antigravity 项目地址: https://gitco…

📰

3 步免费把 Windows 11 任务栏和开始菜单改回 Windows 10 经典样式

3 步免费把 Windows 11 任务栏和开始菜单改回 Windows 10 经典样式 【免费下载链接】ExplorerPatcher This project aims to enhance the working environment on Windows 项目地址: https://gitcode.com/GitHub_Trending/ex/ExplorerPatcher Windows 11 居中的任务栏、…

📰

JWT技术解析与集群实践:从原理到高并发优化

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

ESP32蓝牙信标测距:RSSI原理与ESP-IDF工程实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

一次扫码,长期免登:social-auto-upload 的 Cookie 持久化与登录状态验证指南

一次扫码,长期免登:social-auto-upload 的 Cookie 持久化与登录状态验证指南 【免费下载链接】social-auto-upload 自动化上传视频到社交媒体:抖音、小红书、视频号、tiktok、youtube、bilibili 项目地址: https://gitcode.com/GitHub_Tren…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬