尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
10Eros-Max架构解析:正交投影技术如何让多模型融合成为可能
10Eros-Max架构解析正交投影技术如何让多模型融合成为可能10Eros-Max是基于MiniMax H3基础模型开发的创新实验项目通过正交投影技术实现了多模型融合将LTX 2.3、Wan 2.2视频扩散模型和Krea 2图像扩散模型的学习模式整合到H3的 transformer架构中为视频生成领域带来了新的突破。多模型融合的核心架构设计 ✨10Eros-Max采用统一的transformer架构配备特定模态输入投影器video、audio、condition这些投影器将不同类型的数据输入到一个包含52个块的transformer堆栈中。这个堆栈由2个块的token_refiner用于文本条件处理和50个主块组成并配有特定模态的输出头。整个transformer堆栈采用相同的块架构这使得注意力和MLP层成为模型间特征迁移的理想目标而模态路由则位于管道边缘而非transformer内部。正交投影技术多模型融合的关键 10Eros-Max的修改采用了正交投影数学方法新的权重模式主要沿着基础模型未使用的方向添加到H3中。这种方式使迁移的特征能够补充H3而不是覆盖它。对于跨域的Krea模型融合这一点尤为重要Krea的模式和H3的模式在权重空间中几乎垂直这为正交投影提供了最大的发挥空间同时几乎完全保留了H3自身的方向。多模型融合的实现步骤 LTX 2.3与Wan 2.2视频模型融合LTX模型的融合首先应用于H3的前端块随后Wan模型的融合针对H3的中后端块。每个融合过程都直接修改了注意力权重第二次融合还在更广泛的块范围内修改了前馈层。这两个视频捐赠模型的融合过程表明完全不同的视频模型架构都可以为H3贡献各自独特的特征。Krea 2图像模型的跨域融合第三次融合引入了Krea 2——一个图像扩散模型而非视频模型。由于图像模型学习单帧内的空间关系而视频模型学习多帧间的时空关系这是一个更具探索性的方向。Krea的贡献被精确限定在其注意力结构中携带空间学习的部分查询投影编码要关注的视觉特征以及在少数位置的键和值投影对编码这些特征之间的关系。前馈层也进行了部分迁移但只采用了Krea门控MLP的输入侧跳过了输出投影因为Krea的组合逻辑是为图像模型的输出路径训练的与H3的视频处理不匹配。这种精确的范围控制使Krea能够贡献更精细的视觉特征和细节而不会破坏H3的时间连贯性。多模型融合的优势与保障 ️MiniMax的架构文档指出H3的注意力和前馈层不包含特定模态结构处理“这是音频、视频还是文本”的部分位于模型的其他位置。这意味着注意力和前馈权重是从其他训练模型迁移特征的架构适当位置而不会干扰H3处理每种模态的方式。这同样适合同域视频捐赠模型和跨域图像捐赠模型尽管跨域迁移需要更仔细的范围界定因为并非图像模型的所有学习模式在视频模型中都有连贯的对应部分。结合对受影响块的精确控制——特别是对于Krea精确控制哪些注意力头位置接受注入以避免干扰参与音频处理最多的头槽——这确保了H3在产生具有音频的连贯视频的核心能力的同时将其美学和运动特征向捐赠模型转移。模型的实际块权重、安全功能和防护措施在架构意义上保持未修改——每一次修改都是对现有权重的受控 additive 扰动而不是替换模型自身的结构。许可证信息 ℹ️10Eros-Max适用标准的H3社区许可证。由于此版本现在包含来自LTX 2.3、Wan 2.2和Krea 2的迁移特征这些源模型的社区许可证也适用于来自每个模型的特征部分。如需使用10Eros-Max项目可通过以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/TenStrip/10Eros-Max创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元 2025年10月27日,美团技术团队正式对外发布了自主研发的LongCat-Video视频生成模型。这款具备里程碑意义的AI模型不仅在文生视频、图生视频等基础任务上达到开源领域最先进水平&#xff0c…

📅 2026/11/3 1:45:37
如何快速上手10Eros-Max?零基础入门视频生成的完整指南

如何快速上手10Eros-Max?零基础入门视频生成的完整指南

如何快速上手10Eros-Max?零基础入门视频生成的完整指南 10Eros-Max是一款基于MiniMax H3架构的视频生成模型,支持text-to-video、image-text-to-video和image-to-video等多种生成模式,能够帮助用户轻松将文本或图像转换为高质量视频内容。本…

📅 2026/11/3 1:45:37
AI视频生成新突破:ComfyUI-WanVideoWrapper插件深度解析与应用指南

AI视频生成新突破:ComfyUI-WanVideoWrapper插件深度解析与应用指南

AI视频生成新突破:ComfyUI-WanVideoWrapper插件深度解析与应用指南 项目全景扫描 ComfyUI-WanVideoWrapper作为ComfyUI生态中的创新插件,专注于为AI视频生成领域提供灵活的模型集成方案。该项目由开发者kijai主导,定位为前沿视频生成技术的&q…

📅 2026/11/3 1:45:37
MORE NEWS

更多资讯

📰

图神经网络发展历程与工业应用实战解析

1. 图神经网络发展历程全景回顾2015年对于图神经网络(GNN)而言是个关键转折点。当时我在实验室第一次接触到Graph Convolutional Networks(GCN)的论文时,这个领域还处于萌芽阶段。十年后的今天,当我回顾GNN…

📰

Apache IoTDB V2.0.6时序数据库升级与查询写回功能解析

1. 版本升级核心价值解析这次发布的Apache IoTDB V2.0.6和V1.3.6双版本更新,标志着这个工业级时序数据库在实时数据处理能力上的重要突破。作为深度参与过多个工业物联网项目的技术负责人,我认为其中最值得关注的查询写回功能(Query Write-Ba…

📰

AI落地选型参考:评测基准、自托管小模型与Agent边界

今天早上我把HackerNews前两页和几个固定信息源翻完之后,决定把这份AI资讯日报写成“选型参考”而不是“新闻联播”。原因是今天出现在榜上的帖子有个共同点:它们都不是那种最容易传播的标题,但讨论深度几乎都指向同一个方向——大家开始关心…

📰

DeepSeek Harness入门:5个核心Skill安装顺序与配置验证

DeepSeek Harness(下称 DSH)这类智能体运行框架刚上手时,最典型的翻车场景是这样的:命令行敲下去,模型能读文件、能对话,看起来一切正常,可一旦让它改一个横跨三个文件的 bug,它就开…

📰

DSH五大核心Skill安装顺序与依赖解析

1. DSH 到底是什么,Skill 又在补什么很多人第一次接触 DeepSeek Harness(下面统一叫 DSH)的时候,都会有个错觉:既然模型本身已经能读懂代码、能写脚本、能解释报错,那还要这层东西做什么?我一开…

📰

NPC三电平逆变器同步载波调制原理与Simulink实现

简介:本资源是一份面向电力电子方向毕业设计与课程实践的三电平逆变器调制算法仿真方案,聚焦NPC型拓扑下的同步载波调制技术改进,适用于电气工程、自动化专业本科生及研究生开展电能变换系统建模与谐波分析。压缩包共16个文件,含7…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬