尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
蚂蚁:ARC实现开放交互公平优势比较
标题ARC: Fair Relative Advantage Comparison in Open-Ended Real-World Interaction来源arXiv, 2608.13622v1️文章简介研究问题在开放式真实世界交互中当存在多种有效行为策略时如何消除跨策略比较带来的奖励模型偏好偏差从而实现公平的相对优势估计主要贡献论文提出ARC训练方法通过策略条件化的 rollout 分组恢复公平比较并构建INTER3框架及INTER3-86K数据集以支持该研究。重点思路定义奖励公平性问题指出在开放交互中不同策略如直接回答、澄清、进度更新均可能有效但传统组基强化学习将不同策略的轨迹混合比较导致奖励模型的风格偏好扭曲相对优势使优化偏向特定风格而非上下文适宜的行为。提出ARC方法采用策略条件化 rollout 分组在训练时为每个样本分配策略指令仅在同策略组内计算相对优势结合混合奖励和熵正则化目标进行策略更新推理时移除指令以实现自主策略选择。构建INTER3框架设计通道分离的异步流式交互架构将用户可见通信与潜在推理及工具执行解耦支持实时中断和 steerability显著降低首字延迟使多样化交互策略可观测且可标注。建立INTER3-86K数据集基于真实在线轨迹、 curated 公共数据及合成数据构建包含8.6万条策略标注样本的训练语料涵盖工具使用、多跳问答等场景为公平跨策略比较提供数据基础。分析总结ARC显著提升工具使用能力在tau/tau2基准测试中ARC大幅优于基线方法特别是在GRPO后端上平均提升5.37分证明其能有效增强多轮工具调用的域内性能。降低延迟并保持能力INTER3架构将首字延迟从4.91秒降至1.27秒同时ARC在该低延迟 regime 下进一步提升了代理能力实现了响应速度与任务成功率的平衡。策略指令仅在训练期有效实验表明推理时移除策略指令能获得最佳整体行为说明ARC并非依赖提示词引导而是通过学习更通用的交互策略内部化了公平比较机制。熵正则化防止生成崩溃在多通道生成中熵正则化对于维持输出多样性至关重要能防止策略收敛至无意义的格式重复与策略分组结合后效果最佳。个人观点论文揭示了开放交互中“比较公平性”这一被忽视的核心瓶颈不同于以往关注奖励信号本身的研究ARC从数据构造和比较机制入手通过策略条件化隔离了风格偏差对优势估计的干扰。
RELATED

相关推荐

本地部署Cohere S1-mini开源大模型:从环境搭建到生产级实践指南

本地部署Cohere S1-mini开源大模型:从环境搭建到生产级实践指南

1. 背景与核心概念 在当前的AI浪潮中,大语言模型(LLM)的应用已经从云端逐步走向边缘和本地。对于开发者而言,直接调用云端API虽然方便,但面临着数据隐私、网络延迟、调用成本和模型定制化等多重挑战。因此&#xff0c…

📅 2026/10/6 15:53:02
数据结构:插入排序

数据结构:插入排序

排序 所谓排序,就是使一串记录,按照其中的某个或某些关键字的大小,递增或递减地排列起来的操作。关于数组排序的问题,我们有很多种解决办法,如冒泡排序、堆排序等。接下来我们将系统地了解并掌握几大排序算法的实现思路…

📅 2026/10/20 6:46:49
大模型技术面试全攻略:理论与工程实践

大模型技术面试全攻略:理论与工程实践

1. 大模型技术面试的时代背景与核心价值2026年的技术招聘市场正在经历一场深刻变革。根据多家头部科技企业的招聘数据,大模型相关岗位的面试通过率从2023年的18%骤降至2026年的6.7%,而岗位需求量却同比增长了320%。这种"高需求、高门槛"的现状…

📅 2026/10/6 2:33:35
MORE NEWS

更多资讯

📰

启动报Port 8088 was already in use?先查是谁占的

启动报Port 8088 was already in use?先查是谁占的 项目启动报 Port 8088 was already in use,意思很直白:这个端口已经有人占了。 先说原理:端口是"门牌号",一间房只住一个进程 端口就是一台机器上的门牌号…

📰

担心文档上云?本地运行的办公AI才敢放心用

单位上周开了个会,主题是"AI 提效",散会时领导补了一句:涉及客户资料的文档,不许往云端传。这话一出,会议室里本来跃跃欲试的同事全蔫了——大家平时用的那些在线 AI,文档一上传就不知道存哪儿去…

📰

先能用,再好用:从烂尾复盘到两周上线,全栈项目的‘原型—快速迭代‘方法论

先能用,再好用:从烂尾复盘到两周上线,全栈项目的“原型—快速迭代”方法论 全栈学习路径的文章已经很多了:怎么选技术栈、怎么搭环境、怎么记文档,几乎每个方向都有人写。但一个更扎心的问题很少有人正面讨论——为什…

📰

深度思考模式把 ARC-AGI-2 从 17.6% 拉到 45.1%:对照 Gemini 3 Pro 的三份能力评测,看‘会思考‘改写了哪些边界

深度思考模式把 ARC-AGI-2 从 17.6% 拉到 45.1%:对照 Gemini 3 Pro 的三份能力评测,看“会思考”改写了哪些边界 一、先说结论:变强的不是“知识”,而是“解法” 每次新模型发布,评测榜单都会涨几个点,大…

📰

1.c++入门篇

1.c中的关键字asmdoifreturntrycontinueautodoubleinlineshorttypedefforbooldynamic_castintsignedtypeidpublicbreakelselongsizeoftypenamethrowcaseenummutablestaticunionwchar_tcatchexplicitnamespacestatic_castunsigneddefaultcharexportnewstructusingfriendclassext…

📰

《江灯合声》:有可行的分框版,也仍可以选择连续鸣谢

武汉江岸区栎坡合唱团在免费节目册《江灯合声》中,以表格集中鸣谢资助者。各家共同要求改为独立小框,团里仍想保留表格。现有全名与支持事项清楚可见,双方此前未承诺具体排版。我支持保留表格。补充的试排材料让选择更具体:分框能…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬