尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【VLM】Qwen3.8-Omni-Flash长音视频理解Agentic模型
noteQwen-MM-Plugins视频问答给视频问答加了三类工具记忆建设omni-memory / video-memory建结构化记忆再检索模型驱动的时间区间定位 粗看/细看omni_av_grounding perceive_media直接一次性感知perceive_media / watch_and_answer asr/caption/grounding 等文章目录note一、Qwen3.8-Omni-Flash二、 Qwen-MM-PluginsReference一、Qwen3.8-Omni-Flash1、向 Qwen3.8-Omni-Flash 提出了一项任务在 12 小时内提升 Qwen2.5-Omni-3B 的四川话识别能力并交付可用模型。它自主选定 WenetSpeech-Chuan 评测集、固定评测标准并完成基线测试随后直接听取语音样本结合识别结果诊断问题构建针对性的训练数据。在连续 4 轮实验中Agent 累计构建了 3,413 条训练数据并根据评测反馈调整方案、保留有效改进、回退无效尝试。最终Qwen2.5-Omni-3B 在同一评测集上的字符错误率从 25.79% 降至 15.30%相对下降约 40.7%。2、扩展了 Qwen-MM-Plugins为长音视频的按需感知、工具调用与工作流执行提供支持同时开源 Qwen-Live Harness为实时、持续的全模态交互提供原生运行环境。两者分别面向长程工作流与实时交互并在与模型的共同迭代中持续拓展全模态 Agent 的能力边界Qwen-MM-Plugins: https://github.com/QwenLM/Qwen-MM-PluginsQwen-Live HarnessComing Soon: https://github.com/QwenLM/Qwen-Live-Harness3、Qwen3.8-Omni-Flash 原生 Agent 则从问题出发自主决定该看什么、听什么并通过由粗到细的多轮取证定位关键信息4、通过扩展数据、上下文与 Agentic EnvironmentQwen3.8-Omni-Flash 的音视频能力接近 Gemini 3.8 Flash音频能力整体超过 Gemini 3.8 Flash。二、 Qwen-MM-Plugins扩展了 Qwen-MM-Plugins为长音视频的按需感知、工具调用与工作流执行提供支持同时开源 Qwen-Live Harness为实时、持续的全模态交互提供原生运行环境。两者分别面向长程工作流与实时交互并在与模型的共同迭代中持续拓展全模态 Agent 的能力边界Qwen-MM-Plugins: https://github.com/QwenLM/Qwen-MM-PluginsQwen-Live HarnessComing Soon: https://github.com/QwenLM/Qwen-Live-Harness1通用类core读本地图片/视频帧把文档、代码、3D 模型、NIfTI 医学体数据可视化给模型看。默认原生模式不用 API key。最推荐装api调云端模型服务做图/视频/音频理解——VL 视觉问答/OCR/定位、Omni 转写/说话人分离/字幕、ASR、SAM3 分割。走 DashScope 或自建兼容服务。search联网搜索 网页抽取 反向图搜Serper/Exa/Tavily 等。2Qwen VL 系列专用video-memory长视频分层记忆问答不用重看、video-edit图/视频/音频生成与剪辑、blender驱动 Blender 建模渲染、freecad参数化 CAD、edu-agent生成中文数理讲解视频。3Qwen Omni 系列专用omni-chatcut音乐 MV / 影视解说 / 保留音色的视频翻译、omni-video2note教程视频转带插图 PDF 笔记、omni-skill-creator把演示视频变成可复用的 Agent Skill、omni-memory长视频的音画记忆谁在场、谁说了什么、怎么说的。omni toolperceive_media omni_asr omni_asr_timestamped omni_multi_speaker_asr omni_av_caption omni_av_grounding omni_av_counting omni_music_caption transcribe_audio# Qwen3-ASRsegmentation# SAM3vision_chat ocr grounding专门处理长视频的音视频联合记忆omni-memory链路举例~10min↓ watch_and_answer ↓ Omni 一次看完整视频10~30min↓ 视情况建立 memory~30min↓ build audio-visual memory ↓ retrieval ↓ answer这个omni-memory能对视频每30s进行总结存储出memory比如下面的entitity实体、episodic区间视频含义等omni-memory对应的工具get_memory_status get_memory_overview plan_and_search watch_and_answer replay_and_answer get_people get_person_dialogue search_dialogue search_facts search_memory get_timeline get_moment总结下Reference[1] Qwen3.8-Omni-Flash从理解到交付释放全模态Agent生产力
RELATED

相关推荐

AI时代,为何软件工程基础依旧重要?

AI时代,为何软件工程基础依旧重要?

AI时代,为何软件工程基础依旧重要? 摘要 在AI编程工具快速发展的背景下,一种观点认为"代码可以变得廉价",软件开发流程应当从传统的"设计-编码-测试"转向"规格描述-AI生成代码"的范式。然而&#x…

📅 2026/10/5 15:14:13
房山区统计年鉴(2005-2025)

房山区统计年鉴(2005-2025)

房山区统计年鉴(2005-2025)数据来源:房山区统计局数据年份:2005-2025数据格式:pdf、excel、exe应用程序目录:第一部分 统计公报北京市房山区2024年国民经济和社会发展统计公报第二部分 统计表一、综 合简要…

📅 2026/10/5 15:14:13
第四节 【Git基础篇】Git入门必读:核心概念、工作流程与首次提交实战

第四节 【Git基础篇】Git入门必读:核心概念、工作流程与首次提交实战

第四节 【Git基础篇】Git入门必读:核心概念、工作流程与首次提交实战 前言 一、Git介绍 1.1 Git简介 1.2 Git主要特点 二、从一个真实痛点开始:没有版本控制的日子 三、版本控制的四次演进 3.1 本地版本控制(Local VCS) 3.2 集中式版本控制(CVCS)——以 SVN、CVS 为代表 …

📅 2026/10/5 15:14:13
MORE NEWS

更多资讯

📰

Cursor插件开发实战:plugin.json配置、TypeScript SDK与CLI调试全解析

1. 从“plugins”这个词说起:为什么它值得单独拎出来聊 “plugins”这个词,放在任何技术栈里都不算新鲜,但最近它被反复推上热搜,原因其实很集中——Cursor 这类 AI 编辑器把插件体系做成了核心竞争力,而围绕 plugin.…

📰

插件体系全解析:从plugin.json配置到TypeScript SDK开发与加载失败排查

1. 从“plugins”这个词说起:为什么它值得单独拎出来聊“plugins”这个词,放在任何技术栈里都不算新鲜,但最近它被反复推上热搜,背后其实藏着一个很明显的信号:工具生态正在从“单体应用”向“可插拔架构”全面迁移。你…

📰

深度解读PostgreSQL执行器:从README到源码实践

前一段日子为了彻底搞懂PostgreSQL执行器的工作机制,我做了一件挺小众的事:把源码里src/backend/executor/README从头到尾逐段翻译了一遍。这份README可以说是PG源码中最接近“执行器设计白皮书”的文档,但我翻了很久中文社区,几乎…

📰

插件系统开发实战:从plugin.json到TypeScript SDK的加载机制与排查指南

1. 从“plugins”这个词说起:它到底在解决什么问题如果你最近在折腾 Cursor、Codex CLI、Zcode CLI 这类工具,大概率会在某个时刻撞上plugins这个词。它可能出现在配置文件里,可能出现在启动日志里,也可能出现在某个报错信息里——…

📰

深入解析插件体系:plugin.json清单、TypeScript SDK开发与CLI工作流

1. 从“plugins”这个标题说起:它到底在指什么“plugins”这个词单独拎出来,信息量其实非常低。它可以是任何软件的插件目录、插件清单文件、插件加载器,也可以是一个插件市场的入口。但结合热搜词里反复出现的 Cursor、plugin.json、TypeScr…

📰

NXP MCU CAN位时间配置详解:从公式到采样点与SJW

1. 别急着填波特率:先认清位时间才是CAN通信的真正底牌 做CAN开发这么久,我见过最多的新手操作,是在NXP的MCU里打开配置工具,波特率一栏直接填500000,然后就不管了。等两块板子连起来,要么报文收不到&#…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬