尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
陈文虎:为AI模型评估出题,让“旧考卷失灵”问题不再是难题!
前沿模型评估的“标准科目”每次前沿模型发布AI圈都会关注几张熟悉的成绩单如MMLU - Pro、MMMU、MMMU - Pro等。这些对普通用户陌生的名字对模型公司和研究者而言几乎成了“标准科目”。GPT、Claude、Gemini、Llama、Qwen、DeepSeek等模型不断在这些基准上交卷模型的好坏往往靠这些分数证明。很多模型发布会上的性能对比图、HuggingFace上的一些排行榜都离不开这些评测体系。如今AI行业讨论模型能力时使用的是由这些基准定义的共同语言。然而几乎所有人关注分数却很少有人知道出题人是谁而MMLU - Pro、MMMU和MMMU - Pro背后的出题人是陈文虎。陈文虎其人陈文虎是加拿大滑铁卢大学计算机科学系助理教授在谷歌学术上他的论文被引用超过3万次。他也是“老虎实验室TIGERLab”的创始人该实验室英文全称是Text and Image GEnerative Research Lab因其名字里有“虎”字陈文虎为其起了中文名“虎头帮”。旧考卷失灵之后陈文虎最先因MMLU - Pro受到更多关注。MMLU曾是大语言模型能力评估中常用的基准评测像综合试卷覆盖多学科用于衡量模型在知识理解和推理任务上的表现。早期它很有用能拉开模型差距让行业观察大语言模型的进步。但随着模型能力提升MMLU逐渐“不够考”前沿模型分数越来越高差距越来越小。到OpenAI发布o3后问题更明显o3在MMLU上准确率接近100%其他前沿模型也逼近满分。这对评估来说是麻烦因为大家都考接近满分就难以判断谁更强及强在哪里它虽能证明模型具备某些能力却不适合衡量新进步。于是2024年陈文虎和团队推出MMLU - Pro。MMLU - Pro重新改造了考卷包含12032道题覆盖14个领域。相比原版MMLU它把选项从4个扩展到10个降低模型靠猜测蒙对的概率同时加入更多偏推理的问题清理原题库中简单、有歧义或区分度不足的题目。论文结果显示模型在MMLU - Pro上的准确率比原版MMLU下降16%到33%同一模型在24种不同提示词风格下测试时成绩波动从原MMLU的4%到5%下降到约2%。这表明新卷子更难且更稳定能拉开旧考卷上优秀模型的差距也更容易看出模型是真会推理还是擅长应付旧题。好用的基准评测MMLU - Pro很快被行业采用随后进入NeurIPS2024数据集与基准评测赛道也被EleutherAI的语言模型评测框架lm - evaluation - harness集成。对开源模型社区来说它进入了常用评测工具链。很多模型发布时开始报告MMLU - Pro分数HuggingFace上的一些排行榜也将其纳入评估体系。如果说MMLU - Pro解决了语言模型评估的“旧考卷失灵”问题那么MMMU则将陈文虎和TIGERLab推到多模态评测中心。多模态模型问题更复杂语言模型答题主要处理文字而多模态模型要同时处理图片、图表等不同形式信息需读懂题干、看懂图像内容并将视觉、文本信息和学科知识结合推理。MMMU基准评测包含1.15万道多模态问题来自大学考试、测验和教材覆盖六大领域细分为30个学科和183个子领域。这些题目要求模型像学生做专业题一样结合图像信息和学科知识。MMMU发布时研究团队测试了14个开源多模态模型以及GPT - 4V、GeminiUltra等代表性闭源模型即便当时最强的闭源模型GPT - 4V和GeminiUltra准确率也只达到56%和59%这说明多模态模型虽进步快但在专业理解和推理问题上仍有很大提升空间。后来陈文虎团队推出MMMU - Pro进一步堵住模型绕过视觉信息的空间。它过滤掉只靠文本模型能回答的问题扩展候选项引入vision - only设置把问题嵌入图像中要求模型同时完成视觉读取和文本理解即不让模型“只看文字猜答案”。这类工作虽琐碎但很关键因为多模态模型未来要进入医疗、教育等场景仅能描述图片不够必须具备判断、推理、解释能力能在复杂视觉信息中找到有用部分。“考卷”背后的人陈文虎做MMLU - Pro和MMMU源于他一直以来的研究方向。他的研究兴趣与复杂信息理解、知识问答和推理有关。他本科毕业于华中科技大学之后到德国亚琛工业大学攻读硕士再到加州大学圣巴巴拉分校获得计算机科学博士学位。博士期间他围绕复杂问答、表格推理、知识证据定位等方向研究这类任务的答案往往不在单一文本里可能藏在表格、需结合文字和图片或需模型检索、整合、计算和推理模型不能只会复述已有知识。陈文虎参与过的HybridQA、TabFact、ProgramofThoughts、MAmmoTH等项目都与该研究方向有关这也使他对模型评估里的漏洞敏感。好的基准评测不是把题目变难而是要预判模型容易“蒙对题”“看起来会”的地方如模型可能记住题库、靠选项猜答案、用文字绕过视觉信息等好的评估要补好这些漏洞。博士毕业后陈文虎进入谷歌研究院2021年至2025年参与谷歌DeepMind的Gemini多模态模型和评估工作。这段经历让他更清楚模型能力的增长方式也更容易发现评估中的偏差和盲区。2022年秋季他加入滑铁卢大学计算机科学学院担任助理教授同年入选CanadaCIFARAIChair之后创办“老虎实验室也就是虎头帮”继续围绕基础模型、多模态能力和基准评测展开研究。虎头帮不仅做基准评测也进行模型和系统研究。在视频方向上UniVideo试图将视频理解、生成和编辑纳入同一框架让模型能理解内容、响应指令并完成修改Vamba瞄准长视频理解解决一小时级别视频带来的显存、计算和训练效率问题与Meta生成式AI团队合作的MoCha重点放在说话虚拟角色生成上通过语音和文字描述生成高质量人物视频。自己下场做模型让他们更适合做评估因为好的评估来自对模型能力边界的理解只有了解模型的制作过程和在真实任务中遇到的问题才更容易设计出能测出差距、暴露问题的题目。如今陈文虎进入Meta超级智能实验室工作集中在多模态预训练数据和评估并服务于Meta基础模型。AI行业中聚光灯通常落在创业者、明星研究员和大模型公司负责人身上但今天的AI领域华人人才的参与已不止这些显眼位置。
RELATED

相关推荐

计算机网络IP地址(初学)

计算机网络IP地址(初学)

下面是我学习的一些总结一.判断网段判断两个 IP 是否同网段 / 跨网段,唯一的核心依据是「子网掩码」和「计算后的网络地址」,和 IP 的前几位数字像不像没有直接关系,这是 90% 初学者的核心误区。. 判断依据:子网掩码、网络位、主机位、网络地…

📅 2026/9/19 11:15:43
Noto字体终极指南:如何彻底消除全球900+语言的“豆腐块“显示问题

Noto字体终极指南:如何彻底消除全球900+语言的“豆腐块“显示问题

Noto字体终极指南:如何彻底消除全球900语言的"豆腐块"显示问题 【免费下载链接】noto-fonts Noto fonts, except for CJK and emoji 项目地址: https://gitcode.com/gh_mirrors/no/noto-fonts 你是否曾经在浏览网页或查看文档时,看到奇…

📅 2026/9/17 6:32:12
终极指南:如何用MouseTracks可视化你的数字足迹,从数据记录到行为洞察的完整教程

终极指南:如何用MouseTracks可视化你的数字足迹,从数据记录到行为洞察的完整教程

终极指南:如何用MouseTracks可视化你的数字足迹,从数据记录到行为洞察的完整教程 【免费下载链接】MouseTracks Track and display mouse, keyboard and gamepad information for different applications. 项目地址: https://gitcode.com/gh_mirrors/m…

📅 2026/9/16 22:26:33
MORE NEWS

更多资讯

📰

Atlas 300V 24G推理加速卡如何高效部署YOLO模型?

先说个真实的场景。上个月有个做智慧工地项目的朋友来找我,说他们客户提了个新需求:要在每个工地的边缘机房塞一台推理设备,跑实时视频流做安全帽检测,整机功耗不能超过几十瓦,还得能稳定跑YOLOv5。他最开始用的是工控…

📰

火狐和谷歌不支持Cursor:hand的写法?用CSS cursor:pointer兼容配置一次搞定

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

光伏硅片AI分选:多模态AIGC驱动的工业质检革命

1. 项目本质与工业现场的真实痛点中科迪宏这次发布的不是又一个PPT式AI概念,而是把AIGC技术真正焊死在光伏产线上的硬核装备。我去年在江苏一家TOP5硅片厂蹲点三个月,亲眼见过传统分选环节的窘境:产线每小时产出12000片硅片,质检员…

📰

线性调频脉冲压缩雷达仿真:Matlab工程实现与避坑指南

简介:这份PDF面向雷达信号处理初学者与相关专业学生,系统讲解线性调频(LFM)脉冲压缩雷达的仿真原理与实现思路,帮助读者理解如何用宽脉冲发射兼顾作用距离与距离分辨率。内容从雷达基本工作流程切入,推导回…

📰

基于Django的网络音乐推荐系统的设计与实现

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 一、 项目背景与意义 随着数字音乐产业的蓬勃发展,用户面对海量的音乐曲库时,如何高效地发现符合个人喜好的音乐成为了一个关键问题。传统的音乐…

📰

互联网大事记:技术演进与商业变革双线复盘

我无法根据当前输入生成符合要求的博文。原因如下:项目标题“互联网的大事记”是一个高度泛化、缺乏具体技术指向或实操场景的宏观概念性表述;项目正文为空,未提供任何实质性内容、背景、范围界定(如时间跨度:1994–20…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬