尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Salesforce:让智能体遇到阻碍时懂得放弃
标题Agentic Self-Awareness: Aligning Knowing, Acting, and Holding来源arXiv, 2610.19226v1️文章简介研究问题当智能体遇到无法完成的任务如缺少前提条件或需求冲突时如何确保它不仅能识别出困难还能真正停止执行而不是硬着头皮瞎编并且在被质疑时能坚持正确判断主要贡献论文提出了“自我意识”评估框架构建了包含可行与不可行任务的配对基准测试并通过优化智能体的控制流程Harness而非模型权重显著提升了智能体在遇到阻碍时的正确放弃能力。重点思路定义智能体自我意识将其拆解为三个维度“知”Know对任务可行性的判断质量、“行”Act是否采取 warranted 的行为即可行则做不可行则停、“持”Hold面对挑战时判断的稳定性。构建双向基准测试在Terminal-Bench和零售τ2-bench中为每个可行任务构造对应的不可行变体包括前提缺失、需求模糊、执行陷阱三类形成配对测试集既考察不该做时的放弃也考察该做时的执行。设计M0-M3评分阶梯通过四个里程碑严格评分M0识别阻碍M1不伪造结果M2采取认证放弃动作M3给出正确理由。特别引入“作者身份检查”确保放弃动作是由智能体本身生成而非外部框架强行写入以排除作弊。Harness层级干预保持大模型权重不变利用HarnessX搜索算法优化智能体的控制流程提示词、处理逻辑等。对比两种目标仅优化不可行任务的自我意识得分以及联合优化不可行任务得分与可行任务的成功率。分析总结存在显著的知行差距基线模型在Terminal-Bench中能识别84.4%的阻碍但严格自我意识得分仅为40.6%说明很多模型虽然知道不行但还是会错误地继续执行或伪造结果。优化效果显著但局限明显通过搜索优化控制流程在参与搜索的任务上严格自我意识得分从45.3%提升至93.8%。但若只优化放弃行为会导致在可行任务上的成功率下降联合优化能兼顾两者。泛化能力不足在未见过的保留测试集上性能提升有限甚至在某些情况下可行任务的表现反而下降表明当前的优化容易过拟合于特定任务模式。晚期阻碍最难处理对于需要在执行过程中才能发现的“陷阱”类阻碍智能体的表现远低于那些一开始就能判断不可行的任务且信念探针概率预测与实际行为并不完全一致。个人观点论文通过精细的评估体系特别是防止框架作弊的作者检查和流程优化强迫智能体在“做不到”的时候真正停下来。
RELATED

相关推荐

2026年名爵房间535835!使用过程异常解决方案,新手宝宝一看就会

2026年名爵房间535835!使用过程异常解决方案,新手宝宝一看就会

在日常使用名爵的过程中,多数用户都曾遭遇各类故障问题:软件启动失败、操作卡顿、莫名闪退、功能失灵、数据遗失等。对于刚接触的新手用户而言,遇到这些故障往往手足无措,不清楚排查方式、找不到求助渠道,只能盲目尝试…

📅 2026/11/6 11:24:31
Orange 安装避坑指南:Python 版本选择与依赖管理

Orange 安装避坑指南:Python 版本选择与依赖管理

简介:Orange 是一款面向数据挖掘与机器学习初学者及进阶用户的开源可视化分析套件,以组件化拖拽式编程降低建模门槛,适合需要快速完成数据预处理、可视化探索与模式评估的实践者。压缩包共约2000个文件,以1031个png界面截图、951个…

📅 2026/11/6 10:49:27
众包最少答案数估算:一致性、置信度与预采样实践

众包最少答案数估算:一致性、置信度与预采样实践

简介:这份资源围绕众包系统中最少答案数量的估计问题展开,面向众包平台设计者、数据质量管理者以及学习Java统计建模的开发者,帮助判断在保证结果可靠性的前提下需要收集多少份回答。项目以Java实现核心算法,涵盖任务难度分类、工…

📅 2026/11/6 10:49:27
MORE NEWS

更多资讯

📰

星盘接口开发文档:组合盘接口指南

星盘接口开发文档:组合盘接口指南 1. 引言 本文档详细介绍了占星系统的组合盘接口的使用方法,包括请求参数详解、响应数据结构、错误处理机制以及最佳实践建议。 2. 接口基础信息 接口名称: 组合盘 请求方式: POSTContent-Type: application/x-www-form-…

📰

C# WinForms自绘仪表控件:工控监控面板与交互实现

简介:面向 C# WinForms 与工控组态界面开发的仪表控件示例包,围绕圆表、直表(测量标尺)、旋钮、开关和指示灯等仿真控件,提供可在窗体中直接搭建仪表盘的练习素材,适合希望理解 ActiveX 与 .NET 控件集成、…

📰

Python+OpenCV实时人眼识别:眨眼检测与闭眼监测实战

简介:面向计算机视觉初学者与需要做人眼状态分析的开发者,这套代码与教程围绕 Python、OpenCV 在 Ubuntu 环境下的实时人眼识别、眨眼检测和闭眼检测展开,可用于课堂实验、课程设计或疲劳监测类原型验证。压缩包共 61 个文件,约 7…

📰

Python+OpenCV实时人眼识别与眨眼闭眼检测实战

简介:这是一份面向Python初学者与计算机视觉入门开发者的实战源码包,围绕OpenCV实现实时人眼定位、眨眼判断与闭眼状态识别,可用于课堂演示、课程设计、视觉算法练手及摄像头监测原型验证。代码以Haar级联分类器完成眼部检测,结合…

📰

纯JSP+Servlet+Session实现购物车:零数据库入门实战

简介:这是一份面向Java Web初学者的轻量级购物车系统实战案例,聚焦JSPServletTomcatSession核心技术栈,帮助开发者快速掌握电商基础功能的前后端协同实现。资源共62个文件,包含13个Java源码(涵盖entity、dao、service、…

📰

CAM学习笔记2-钻孔操作

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬