尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression
文章主要内容与创新点总结一、主要内容本文针对流式视频大语言模型(Streaming VideoLLMs)在实时部署中面临的高计算成本问题展开研究。这类模型在处理连续视频流的密集视觉令牌时,存在两大核心瓶颈:一是视觉Transformer(ViT)编码阶段中,时间相似帧的冗余处理导致效率低下;二是LLM预填充阶段令牌序列膨胀,加剧延迟和内存开销。为解决上述问题,作者提出了流式令牌压缩(STC)框架,这是一种即插即用的分层加速方案,可无缝集成到现有流式VideoLLMs中,同时优化ViT编码和LLM预填充两个阶段。STC包含两个核心模块:STC-Cacher:通过缓存和复用时间相似帧的特征,减少ViT编码开销,仅对动态令牌进行选择性计算,避免冗余运算;STC-Pruner:基于空间和时间相关性筛选最显著的令牌,在视觉令牌进入LLM前进行压缩,缩短预填充序列长度。作者在5个基准测试集上对4种基线流式VideoLLMs进行了大量实验,结果表明STC在保持高准确性(如在ReKV框架上保留99%准确率)的同时,显著降低了延迟——ViT编码延迟减少24.5%,LLM预填充延迟减少45.3%,且与端到端在线模型(如Dispider、LiveCC)和离线转在线框架(如ReKV)均具有良好兼容性。二、创新点针对性解决流式场景核心瓶颈:首次明确流式视频的两大特性(ViT编码中的时间冗余、无全局视频信息
RELATED

相关推荐

obs-backgroundremoval 免费 AI 无绿幕抠像实战:从安装到实时换背景一篇搞定

obs-backgroundremoval 免费 AI 无绿幕抠像实战:从安装到实时换背景一篇搞定

obs-backgroundremoval 免费 AI 无绿幕抠像实战:从安装到实时换背景一篇搞定 【免费下载链接】obs-backgroundremoval An OBS plugin for removing background in portrait images (video), making it easy to replace the background when recording or streaming.…

📅 2026/9/15 11:20:59
免费在线 LaTeX 编辑器 Overleaf 上手指南:装环境太折腾?改用它两分钟开写论文

免费在线 LaTeX 编辑器 Overleaf 上手指南:装环境太折腾?改用它两分钟开写论文

免费在线 LaTeX 编辑器 Overleaf 上手指南:装环境太折腾?改用它两分钟开写论文 【免费下载链接】overleaf A web-based collaborative LaTeX editor 项目地址: https://gitcode.com/GitHub_Trending/ov/overleaf 你有没有在交稿前夜被 TeX 发行版…

📅 2026/10/5 21:23:14
一张图看懂Pulsar实时分析架构:realtime-analytics五大核心模块与数据流转全解析

一张图看懂Pulsar实时分析架构:realtime-analytics五大核心模块与数据流转全解析

一张图看懂Pulsar实时分析架构:realtime-analytics五大核心模块与数据流转全解析 【免费下载链接】realtime-analytics Realtime analytics, this includes the core components of Pulsar pipeline. 项目地址: https://gitcode.com/gh_mirrors/re/realtime-analy…

📅 2026/9/15 2:36:17
MORE NEWS

更多资讯

📰

text-to-cad 原理与工程落地:从自然语言到可编辑参数化模型

1. text-to-cad到底解决什么问题1.1 先把“能生成3D模型”和“能生成零件”分清楚先说个结论:text-to-cad 不是让 AI 随手吐一个三维模型出来,而是要输出能进加工、装配、仿真流程的“正经 CAD 模型”。很多第一次接触这个概念的人,以为只要对…

📰

OpenMontage:基于Rust的视频智能体协作系统

1. OpenMontage 是什么:一个被低估的开源视频智能协作系统OpenMontage 这个名字乍一听像某个电影剪辑软件的副产品,或者某家初创公司悄悄上线的SaaS工具。但实际翻开源码仓库、读完它的README和早期设计文档后,我立刻意识到——这不是又一个“…

📰

程序员转型AI开发:实战路径与知识体系重构

1. 转型背景与核心挑战2023年大模型技术爆发后,AI应用开发岗位需求同比增长217%(LinkedIn数据)。作为经历过技术转型的老兵,我深刻理解普通程序员面对AI领域时的三大困惑:数学恐惧症(实际80%应用开发不需推…

📰

Agent-Reach:打造多Agent协作的可靠触达层与管理实践

如果你的多 Agent 系统只在一台机器上跑,你可能还意识不到 Agent-Reach 的价值。等 Agent 被拆到不同容器、不同机器、不同网络区域后,你就会遇到一类特别诡异的现象:Agent 的进程明明活着,日志还在打印,但调度 Agent …

📰

神经网络发展史与关键技术演进

1. 神经网络发展史概述1943年,神经生理学家沃伦麦卡洛克和数学家沃尔特皮茨提出了第一个神经网络数学模型——MP模型,这被视为人工神经网络的起点。这个简单的二元阈值模型虽然功能有限,却奠定了神经网络最基础的理论框架:模拟生物…

📰

1024 工程手记:把“支持新硬件”拆成一份能交接的验收记录

程序员节很适合谈理想,我更愿意谈一张交接表:当维护者休假,另一个人能否根据记录重现一次部署、判断异常并退回旧版本?基础设施工作的价值,常常就在这个平常的问题里。 10 月 20 日,vLLM TorchTPU介绍了通…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬