当AI智能体不再变强：一场关于测试时间的诚实测量-北京尧图网络

2026年9月的某一天一群研究者盯着屏幕上的曲线图发呆。他们让四个最先进的AI智能体包括Claude、GPT-5.5、Kimi K2.7和Gemini去解一道开放性编程题把几千个形状不规则的多边形塞进一个尽可能小的矩形里。这些智能体获得了极其慷慨的预算最多可以消耗一亿个token去思考、尝试、修改。按理说思考得越久答案应该越好。这是大家对AI的基本预期也是这几年测试时扩展这个概念火起来的原因你给模型更多时间琢磨它就该表现得更强。但研究者发现了一件让人不安的事这些智能体在花掉几百万token之后进步速度居然开始追不上一个极其简单的笨办法就是让模型独立地把同一道题做很多遍然后挑最好的一次交上去。更扎心的是对比组。同样这道题AtCoder编程竞赛的历史题目换成真人高手来做他们在连续奋战好几天之后进步速度不但没有变慢反而越来越快最终反超了跑了三天的AI智能体。这篇来自UC Berkeley、华盛顿大学、普林斯顿大学和Bespoke实验室联合团队的论文就是想搞清楚一件事AI智能体花的每一个token到底值不值。一把统一的尺子要回答值不值首先得有个办法去衡量进步这件事。这比听起来难。市面上很多AI能力测试是一锤子买卖比如著名的SWE-bench代码修复基准你提交一个答案系统告诉你对或错然后这条轨迹就被扔掉了你压根看不到这个答案是怎么一步步演化出来的。但研究者选择了另一类任务开放性任务。比如把圆尽可能紧密地塞进一个正方形比如优化GPU内核的运行速度比如设计一套算法在编程竞赛里拿高分。这类任务的好处是每一次中间提交都能拿到一个具体分数进步过程是能被实时观察到的。问题在于分数本身是个坑。举个例子26个圆在单位正方形里打包的问题把总分从1提高到2轻而易举但著名AI程序AlphaEvolve把这个分数从2.634提高到2.635就已经是刷新世界纪录了。同样是分数涨了一点点在不同区间里的含金量天差地别。如果只用地图上的公里数来衡量登山难度你会觉得爬10公里的山比爬5公里的山难一倍。但如果这10公里全是缓坡5公里全是悬崖峭壁实际的辛苦程度完全反过来了。分数也是这样同样的数字增量在不同的位置代表的实际进步可能天差地别。如果没有一把统一的尺子你压根没法比较从80分到81分和从50分到60分哪个更难。于是研究者搬出了一个诞生于1952年的老工具Bradley-Terry模型。Bradley-Terry模型*一种通过两两对比结果来估算每个参与者实力值的统计模型国际象棋等级分Elo系统就是它的一个经典应用。具体做法是把每个智能体在每个token预算下目前为止找到的最好答案拎出来两两PK谁的分数高谁赢然后用这些胜负记录去拟合出一个Elo等级分。这样一来无论原始分数的单位是什么、区间是什么最后大家都在同一套等级分体系里比较就像围棋高手和象棋高手虽然玩的是不同的游戏但都能用一个段位来大致衡量水平一样。研究者把这套方法命名为Elo-per-tokentoken每花一份就看等级分涨了多少。独立采样一根看不见的标尺要判断智能体的进步是快是慢还得有个参照物。这里出现了整篇论文里最优雅的一个数学结果。研究者证明了一件事如果你把同一个问题独立解答n次每次都是完全独立、互不参考的尝试然后取最好的一次那么这个最佳成绩的Elo等级分会随着尝试次数的对数呈严格线性增长。用具体数字说token预算每扩大10倍一个数量级Elo大约涨400分。这是一条完全由概率论推导出来的直线不依赖任何具体任务因为背后的逻辑很简单n次尝试中最好的一次本质上就是在n个随机变量里取最大值这个统计规律不管你解的是什么题目都成立。这条线被称为独立采样参考线它的价值不在于告诉你哪个方法最好而在于给出一个及格线如果一个智能体的自我进步速度追不上这条参考线那说明它精心设计的思考、修改、探索的策略实际上还不如简单粗暴地重启十次挑最好的来得划算。想象一下开车去一个陌生的地方你可以选择沿着一条路一直开下去边开边看路牌调整方向这类似智能体不断修改自己的方案也可以选择每次都重新出发换一条完全不同的路试试运气这类似独立采样。如果你沿着同一条路开得越久反而越绕远路那还不如干脆掉头重新出发。独立采样参考线告诉你的正是沿着这条路继续开到底还值不值。智能体的表现先超车后掉队有了尺子和参照线研究者在FrontierCS、ALE-Bench、MLS-Bench、FlashInfer-Bench四个开放性基准上测试了四个智能体系统每个任务跑五次独立会话token预算一路加到一亿。结果出奇地一致在预算比较小的时候很多智能体的表现能明显超过400 Elo每十倍这条参考线这说明智能体调用工具、修改代码、利用环境反馈的策略确实比盲目重来更聪明能更快地把token转化成分数。但随着预算继续增加几乎所有系统的边际收益都开始下滑到了预算末期大多数曲线的斜率已经低于参考线。论文里有个说法特别精准叫作最多对数线性。也就是说智能体的进步曲线在对数坐标下最好情况下是一条直线更常见的情况是往下弯曲呈现出凹形。这意味着随着token越花越多每一块钱每一个token能买到的进步是递减的而且这个递减速度比完全不动脑子地重复尝试还要快。研究者把这个由盛转衰的临界点称为规模拐点。在这个点之前继续投入深度也就是让同一个会话继续跑下去是划算的过了这个点把预算分给新的独立会话反而更划算。这个拐点会随系统和任务不同而变化但在四个基准里反复出现几乎成了一种普遍规律。人类为什么不掉队论文里最让人意外的部分是关于人类的对照实验。研究者找到了AtCoder编程竞赛一种日本主办的全球性算法设计比赛的历史submission记录这些比赛通常持续10到14天选手可以反复提交、反复优化自己的解法。研究者把前10名和前50名选手的完整提交历史扒出来用同一套Elo-per-token框架去衡量他们的进步曲线只不过横轴从token预算换成了实际花费的时间。结果是人类选手的进步曲线呈现出超线性增长也就是在对数时间坐标下是向上凸的形状越往后每一次时间翻倍带来的分数提升反而越大。这和智能体的表现正好相反。在AHC014这道题目上研究者做了一次最直接的对比让GPT-5.6-Sol和Claude Opus 4.8跑满72小时的会话同时把真实历史选手的进度也画在同一张图上。智能体在最初几个小时进步飞快但很快就趋于平缓几乎不再有明显起色。而人类选手在接下来的好几天里持续爬升最终前十名选手的等级分反超了两个智能体。这个结果在AHC038、AHC040等另外三个竞赛题目上得到了重复验证四场比赛里人类选手都表现出类似的加速进步模式。这背后可能藏着一件很朴素的事人类在一道题上泡得越久理解得越深脑子里积累的直觉和洞察会形成复利效应后面的进步会越来越轻松。这就像学一门乐器前几周进步很慢但一旦你的手指记住了指法、耳朵训练出了音感之后每一小时的练习带来的提升会比刚开始快得多。而现在的AI智能体即便拥有几乎无限的上下文和不知疲倦的运算能力却好像缺了这种越学越轻松的机制它更像是在原地反复试探而不是真正地把经验内化成能力。换个角度这也印证了论文标题里的那句话当智能体慢下来的时候人类还没有慢下来。换个思路能否破局研究者没有止步于发现问题他们还测试了几种专门为了突破这个瓶颈而设计的策略看看能不能改变智能体那条向下弯曲的曲线形状。第一类是进化式方法。AdaEvolve维护一批候选程序让模型不断变异出新版本GEPA则是进化提示词本身从执行痕迹和反思中提炼改进。这两种方法本质上是把思考从单一会话拆解成多次短小精悍的独立尝试理论上应该更接近独立采样的优势。实验结果显示这两种方法确实在预算较小时领先普通智能体三百多个Elo分但同样的故事重演了随着计算量增加它们的优势逐渐被追平最终也没能摆脱对数线性甚至更慢的增长模式。第二类是测试时训练也就是让模型在解题过程中实际更新自己的参数而不只是积累上下文。研究者用TTT-Discover方法对一个200亿参数的开源模型做强化学习式的在线微调。结果同样令人失望这种方法确实在早期跑出了一段明显超越参考线的加速期但最终斜率还是滑回了400 Elo每十倍这条基准线附近。三种完全不同思路的策略殊途同归地撞上了同一堵墙。这说明问题可能不在于智能体的具体实现方式而在于某种更根本的东西。粘性盆地一个数学上的解释论文提出了一个假说叫作粘性盆地假说试图解释为什么智能体的进步会系统性地放缓。粘性盆地*指智能体在解题早期选定的某种思路、代码结构或算法方向一旦确定就很难被推翻后续的大量计算只能在这个既定方向内部打磨细节而无法跳出去重新审视最初的选择。研究者用一个简化的数学模型证明了这个直觉假设每次会话开始时会随机选定一个盆地可以理解成一种解题思路盆地内部的最优表现服从某种分布会话只能在盆地内部反复采样寻找最优解。即便盆地内部的提升是无上限的只要两个盆地的初始差异存在那么无论你把其中一个会话的深度延长多少倍哪怕延长十倍、百倍另一个会话反超它的概率始终会稳定在50%。这是个纯粹的数学结果背后的直觉是盆地内搜索的收益增长速度是对数的对数慢到几乎可以忽略而两个盆地之间天生的差距是固定的常数级别深度优势追不上初始选择的差距。打个比方你去一家陌生的城市找餐厅第一顿饭随手走进了一家看着还行的馆子接下来这一周你都在这家馆子里反复点不同的菜越点越懂这家店的招牌是什么、哪道菜做得最好。但无论你在这家店里吃得多精都不会比一开始就走进了这座城市里排名第一的米其林餐厅的人吃得更好。真正决定上限的是第一步走进哪家店的门而不是在店里吃了多少顿。如果这个假说成立它给出的启示是双重的一方面那些解法空间里存在很多个看起来都还不错的盆地的开放性问题天生就很难靠单条长会话把它优化到极致另一方面真正能突破这个瓶颈的智能体设计恐怕需要有意识地设计出能够跳出盆地、推翻早期选择、重新审视全局的机制而不是一味地在已选方向上深挖。拐点的实际用途分配预算理论讲完了论文最后落地到一个非常实用的问题给定一亿token的固定预算到底应该跑一个超长会话还是拆成好多个短会话研究者给出了一个基于拐点的分配规则。假设通过前期测量已经知道某个智能体在某个任务上的规模拐点出现在38M token三千八百万那么面对1亿token的总预算最优策略是分成?100M/38M?等于3个独立会话各跑33M多token。他们在FrontierCS的多边形打包任务上真刀真枪地验证了这个规则。用Kimi Code跑出单会话的自我Elo曲线测得拐点确实落在38M附近。然后对比了1、2、3、4、5、10个会话的六种分配方案在1亿token总预算下三会话方案的Elo等级分比单一长会话高出264分比十个短会话高出355分。在MLS-Bench的另一个任务上同样的拐点分配策略也跑赢了两个极端方案。这个结果本身有严格的数学支撑。论文证明了两个定理一个是说过了拐点之后继续延长同一个会话理论上渐进意义下会输给冻结当前状态后独立重复采样另一个是说把预算拆成K个独立会话、每个跑到拐点预算能获得400乘以log10(K)的Elo增益恰好延续了独立采样那条参考斜率同时还保留了每个会话在拐点之前积累的进步。两个定理合起来构成了一套完整的何时该继续想何时该换个脑子重新想的理论依据。这就像团队做一个项目如果一个人埋头苦干十天效果可能不如三个人各自独立干三天多。因为一个人在自己固有思路里越陷越深的时候另外两个人是从零开始、带着新鲜眼光切入的反而更容易发现被忽略的角度。但如果切分得太碎比如变成十个人各干一天每个人连问题还没摸透就得交卷反而效果更差。拐点分配规则实际上就是在寻找这个既不要一条路走到黑也不要浅尝辄止的平衡点。不过研究者也坦诚地指出了这套方法目前的局限拐点的位置似乎是任务特有的不能简单地从整个领域的平均曲线去预测某一道具体题目的拐点。论文里举了个例子Kimi K2.7在FrontierCS整个领域上拟合出的斜率转折点和多边形打包这一道具体题目的38M拐点对不上号。怎么在不跑完整条曲线的情况下提前预测出某道题的拐点在哪里还是一个悬而未决的问题。写在后面读完这篇论文最触动我的不是某个具体的数字而是那个粘性盆地的数学证明。它用一种近乎冷酷的方式告诉你深度优势的增长速度是根号对数级别的慢到无论你怎么加钱加时间都追不上初始选择带来的固定差距。这意味着单纯堆算力去弥补起点没选好这件事可能天生就是一件收益递减到几乎为零的事情。论文里还有一个细节让我反复琢磨。研究者测试了四种不同参数规模的Qwen3.5模型发现更大的模型确实起点更高但爬升的坡度反而更平缓397B参数模型的斜率是178 Elo每十倍比27B模型的206还要低。规模买到的是更早的天花板而不是更陡的爬升曲线。这多少有点反直觉因为我们通常默认更大的模型应该在各个维度上都更强但这个实验提示我们规模和自我改进速度可能是两件需要分开衡量的事情。还有一点值得单独说说论文选择用AtCoder这个平台的历史真人数据来做对照而不是随便找几个志愿者现场测试这个选择本身就很讲究。因为AtCoder的比赛记录带着完整的时间戳和分数研究者甚至专门做了一道筛选工序剔除掉那些采用相对计分制、导致历史分数会随时间失真的比赛只保留能用同一把尺子公平衡量的绝对计分制比赛。这种对数据可信度的较真是这篇论文让人愿意相信其结论的一个重要原因。如果智能体真的缺乏某种类似人类的持续学习机制那么下一步的突破点或许不在于给模型更多的token和更长的上下文窗口而在于设计出某种能让模型跳出盆地重新审视的机制。这会是什么样子是某种主动的自我怀疑机制还是某种周期性地推翻重来的设计现在还没有答案。QAQ1Elo-per-token分析是什么A这是论文提出的一种评测方法把智能体在每个token预算下找到的最佳答案两两比较用Bradley-Terry模型拟合出Elo等级分从而让不同任务、不同分数体系的进步可以在同一把尺子上比较。Q2为什么AI智能体花越多token反而进步变慢A论文提出粘性盆地假说认为智能体在早期会锁定某种解题思路之后的计算大多只能在这个思路内部打磨很难跳出去重新选择方向导致边际收益递减最终甚至跑输简单的独立重复采样策略。Q3规模拐点如何用来分配计算预算A规模拐点是智能体自我进步速度追不上独立采样参考线的临界预算点。论文证明把总预算按拐点切成若干个独立会话比一个超长会话或者切得过碎的多个短会话效果都更好在实验中带来了264到355个Elo分的提升。

当AI智能体不再变强：一场关于测试时间的诚实测量

相关推荐

KaiNinja：给3D生成模型装上“拆零件“的能力

2026 投票小程序怎么选？5 款免费投票工具横评，避开付费套路，评选活动快速搭建

东南亚Shopee/TikTok/Lazada多店铺ERP推荐，怎么选？

更多资讯

WuKongIM 移除旧版 v1 Runtime：Legacy 代码树清理实施计划与落地源码验证

Windows 怎么免费激活？用开源工具 MAS 3 分钟搞定 Windows 11 和 Office

Ansible 2.9.27生产环境实战：安装、Playbook与踩坑排查

Java OCP认证备考：从代码题到Stream、并发和模块化的实战攻略

多线程与线程池实战：Java多用户Socket通信服务端设计

eCLIP-Seq技术全解析：从UMI去重到Input对照的RBP结合位点分析方法

今日更新

Cephadm实战指南：Linux系统工程师的生产级Ceph集群部署与排障

不想再被 Token 额度卡脖子？把免费 API 接入 WorkBuddy 的完整教程

ITK中SpatialObject几何体系解析：坐标系、变换与管道集成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？