MPO混合偏好优化揭秘：InternVL3-78B-Pretrained系列推理能力+4.1分的训练算法-北京尧图网络

【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载InternVL3-78B-Pretrained 是 InternVL3 系列 78B 参数多模态大模型的预训练权重版本。本文带你快速搞懂让该系列推理能力提升4.1 分的关键训练算法——MPOMixed Preference Optimization混合偏好优化它解决什么问题、如何工作、消融数据如何证明收益来自算法本身。为什么需要 MPO训练与推理的分布不匹配问题多模态大模型MLLM在训练时有一个隐藏的坑训练阶段模型基于标准答案ground-truth中的前序 token预测下一个 token推理阶段模型只能基于自己之前生成的 token往下预测。这两者的输入分布不一致会产生distribution shift分布偏移直接损害模型的Chain-of-ThoughtCoT思维链推理能力——简单说就是平时跟着标准答案做题没问题自己考试时却容易跑偏。MPO 正是为此设计的它引入正样本positive与负样本negative双重监督把模型的回复分布拉回到标准答案分布上从而修复推理短板。 MPO 最早由 InternVL2.5-MPO 提出InternVL3 系列将其作为标准后训练阶段之一继续打磨。MPO 如何工作三大损失函数拆解MPO 的训练目标由三部分加权组合而成$$ \mathcal{L}w_{p}\cdot\mathcal{L}{p} w{q}\cdot\mathcal{L}{q} w{g}\cdot\mathcal{L}_{g} $$损失项符号通俗理解偏好损失$\mathcal{L}_p$用正/负样本对比让模型学会什么是好的回答质量损失$\mathcal{L}_q$约束正样本本身的高质量避免劣币驱逐良币生成损失$\mathcal{L}_g$保证回复稳定、流畅地生成其中 $w_*$ 是各损失项的权重系数。三者协同既教模型分辨好坏又保住表达能力。MPO 消融数据4.1 分的推理提升从何而来这是本文最硬核的结论。官方消融实验在7 个多模态推理基准上对比了用 MPO 微调与不用 MPO的模型InternVL3-78B比不用 MPO 的对应版本高出4.1 分InternVL3-38B高出4.5 分更关键的一点MPO 使用的训练数据是 SFT监督微调数据的一个子集。这意味着能力提升主要来自训练算法本身而非更多数据——对于数据资源有限的团队这一点尤其值得关注。InternVL3-78B-Pretrained 训练流程全景MPO 在整个训练链路中处于临门一脚的位置完整流程共四步Native Multimodal Pre-Training原生多模态预训练把图文、视频、多模态交错数据与大规模纯文本语料混合在同一个预训练阶段同时学语言与视觉省去了单独的模态对齐模块SFT监督微调沿用 InternVL2.5 的随机 JPEG 压缩、平方损失重加权、多模态数据打包等技术并扩展到工具使用、GUI 操作、长上下文、视频理解等场景MPO混合偏好优化即本文主角专攻推理能力Test-Time Scaling测试时扩展采用 Best-of-N 策略配合VisualPRM-8B作为评审模型挑选最优推理答案。架构上该模型延续 ViT-MLP-LLM 范式视觉端为 InternViT-6B-448px-V2_5语言端为 Qwen2.5-72B中间用 MLP 投影层连接通过 pixel unshuffle 将视觉 token 压缩为原来的 1/4并采用 448×448 动态分辨率切片与V2PE可变视觉位置编码增强长上下文理解。具体参数可参考 config.json模型实现分别在 modeling_internvl_chat.py 与 modeling_intern_vit.py。InternVL3-78B 快速上手两步加载推理⚠️注意本仓库是预训练版本尚未经过 SFT 与 MPO 后训练指令遵循能力有限。想直接体验完整的多模态对话效果请使用完成全部后训练的 InternVL3-78B 版本。若需加载本预训练权重做研究或二次训练只需transformers4.37.2import torch from transformers import AutoTokenizer, AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3-78B-Pretrained, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue).eval().cuda()硬件参考16-bit 加载至少需要 3 张 80GB GPU开启 8-bit 量化load_in_8bitTrue则需 2 张 80GB GPU。完整的对话、多图、视频推理示例见 README.md对话模板逻辑在 conversation.py 中实现。新手 FAQ3 个高频问题Q1MPO 和 SFT 是什么关系SFT 教模型照着标准答案学MPO 进一步教模型区分好坏回答两者是互补的先后阶段。消融实验证明同样的数据上MPO 能额外榨出 4 分以上推理分。Q2这个 Pretrained 版本能直接当聊天助手用吗不建议。它只完成了原生多模态预训练对话与推理能力要等 SFT MPO 后的完整版本才有最佳表现。Q3想在自己数据集上复现 MPO 效果InternVL 官方仓库以及 SWIFT、XTuner 等微调框架均已支持 InternVL 系列的后训练流程可参考 README.md 中 Finetune 章节的指引。总结MPO 混合偏好优化用正负样本双监督三损失组合这一简洁设计为 InternVL3 系列带来了实打实的推理跃升。对于预训练版本的权重model.safetensors.index.json 记录了全部 33 个分片的参数映射方便做分片加载与结构检查。赞分享【免费下载链接】InternVL3-78B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-78B-Pretrained点击查看免费下载相关推荐MPO 混合偏好优化InternVL3 多模态推理能力跃升背后的训练秘诀MPO 混合偏好优化InternVL3 多模态推理能力跃升背后的训练秘诀 InternVL3 38B Instruct 是 OpenGVLab 开源的 380MPO混合偏好优化原理详解一文看懂InternVL3-78B-Instruct与正式版的推理差距MPO混合偏好优化原理详解一文看懂InternVL3 78B Instruct与正式版的推理差距你是不是遇到过这种情况明明下载的是 78B 大模型推理表InternVL2_5-38B-MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解InternVL2_5 38B MPO推理能力更强的秘密MPO混合偏好优化DPOBCOSFT原理详解 InternVL2_5 38B MPO 是 Op上一篇Baserow工作流引擎业务流程建模与自动化执行下一篇如何构建高可用的微服务系统Polly弹性和故障处理库实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

MPO混合偏好优化揭秘：InternVL3-78B-Pretrained系列推理能力+4.1分的训练算法

相关推荐

攻克SFFocusViewLayout布局难题：10个实战问题与完美解决方案

如何10分钟跑通AesCode-8B：从下载权重到生成第一张HTML海报的完整教程

PJ85718DM与PIC18F55K42实现HVAC本地远程温度采集

更多资讯

安徽网站定制开发公司选择指南：同样说能做开发费用该怎么比较

LeetCode刷题滑动窗口（水果成篮+找到字符串中所有字母的异位词）Java

土豆缺陷识别数据集马铃薯病害缺陷数据集土豆检测目标检测YOLO数据集 AI训练数据第10819去期

天津智能装备工厂SolidWorks研发场景10个设计人员共享一台服务器

智慧农业玉米病害识别数据集玉米叶片斑病数据集玉米叶片病害实例分割 YOLO数据集第10818期

别被“Agent工程师”高薪忽悠！小白程序员如何真正掌握大模型核心技术？

今日更新

电商智能运营体系从0到1：架构设计、落地步骤与避坑指南

压缩空气储能与热网热惯性联合优化调度：热电联产系统建模与求解

若依框架AI代码生成不稳定？用Agent Skill三层结构+五步法搞定

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？