尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
DrawingBench: Evaluating Spatial Reasoning and UI Interaction Capabilities of Large Language Mode...
一、文章主要内容总结本文提出了DrawingBench——一个用于评估智能体大语言模型(agentic LLMs)空间推理能力和UI交互能力的可验证基准框架。该框架通过要求模型生成基于鼠标操作的低级别GUI动作序列来完成绘图任务,实现对模型可信度的透明化评估,弥补了现有基准在空间交互任务中缺乏动作序列生成、细粒度UI控制和多轮反馈学习测试的不足。核心构成数据集设计:包含250个多样化绘图提示,覆盖20个类别和4个难度等级(简单、中等、困难、极难),提示遵循清晰性、多样性、现实性和可测量性原则。绘图环境:提供1000×700像素画布,支持6种绘图工具、8种颜色和3种线条尺寸,模型需输出moveTo、click等4类鼠标动作序列。评估体系:基于8项客观标准(工具使用、颜色匹配、绘制段数、画布覆盖率等)和4类错误类型(语法错误、坐标错误等)进行确定性评分,支持多轮反馈机制(两回合交互,基于结构化反馈优化输出)。实验验证:对4个主流LLM(Claude-4 Sonnet、GPT-4.1、GPT-4.1-mini、Gemini-2.5 Flash)进行1000次测试,最终模型实现92.8%的完美得分率,结构化反馈平均提升3.2%性能(复杂场景最高提升32.8%)。关键发现
RELATED

相关推荐

从Ventoy启动盘制作到DiskGenius实战:Windows系统引导修复全攻略

从Ventoy启动盘制作到DiskGenius实战:Windows系统引导修复全攻略

1. 项目概述:从PE制作到引导修复的完整闭环如果你曾经因为Windows系统崩溃、引导丢失而手足无措,看着屏幕上冰冷的“No bootable device”或“Boot Manager”错误提示感到绝望,那么这篇文章就是为你准备的。我将带你走完从零制作一个纯净、强…

📅 2026/10/24 17:50:54
从PE制作到Windows引导修复:完整自救指南与实战解析

从PE制作到Windows引导修复:完整自救指南与实战解析

1. 项目概述:从PE制作到恢复Windows引导的完整闭环 如果你曾经因为Windows系统崩溃、引导记录损坏而对着黑屏或蓝屏束手无策,那么掌握“从PE制作到恢复Windows引导”这套组合拳,无疑是给你的电脑操作能力加装了一个“终极保险”。这不仅仅是一…

📅 2026/10/14 1:53:15
Agent与opencalw在智慧油气田物联网中的架构设计与工程实践

Agent与opencalw在智慧油气田物联网中的架构设计与工程实践

1. 项目概述:当Agent遇上智慧油气田 最近在跟几个做油气行业物联网的朋友聊天,发现一个挺有意思的现象:大家手里的传感器数据越来越多,摄像头、压力表、流量计、振动传感器……数据像潮水一样涌进来,但真正能把这些数据…

📅 2026/10/14 11:52:12
MORE NEWS

更多资讯

📰

Text-to-CAD全解析:从自然语言到CAD模型的生成流程

1. 项目概述1.1 从一句中文描述到可用CAD模型的完整链路"text-to-cad",字面意思就是把文字描述变成CAD模型。你输入一句"一个直径30毫米、高度50毫米的圆柱体,顶部带一个边倒角",系统在几十秒内就能生成对应的三维模型文…

📰

给 LLM 装上外挂大脑:会话记忆系统的设计与实现

生成一份超过5000字的高质量技术博文,结构合理且不含AI套路表达。下面开始直接输出正文。1. 项目源起:为什么要做一套会话记忆系统最近在调试一个基于大型语言模型的工具型项目,碰到一个特别疼的问题:模型能力强是强,但…

📰

数通H12-831题库判断题:OSPF/IS-IS/BGP机制边界解析

简介:面向备考华为HCIP-Datacom(H12-831)认证的考生,这份2024年数通新题库以PDF形式整理,重点解决考试题目变动后旧资料覆盖不足、复习方向不清的问题。压缩包仅含1个PDF文件,大小约327KB,轻量便…

📰

OpenAI 722 篇 AI 数学论文撤回 3 篇,验证成本该谁承担

10 月 6 日,OpenAI 在 GitHub 上一次性公开了 722 篇数学手稿,声称在几何、代数、计算机科学等方向的 372 个问题上取得进展。第二天撤回 3 篇:一个符号错误让其中一篇的论证失效,另外两篇依赖了同一个构造,一并作废&a…

📰

银河麒麟aarch64安装Docker 18.09.7与yum源依赖避坑

简介:这份文档面向在国产化服务器环境中部署容器平台的运维工程师与信创适配人员,聚焦银河麒麟 v10 SP1 Server 上 Docker 的落地安装问题。由于官方源缺少 docker server 软件包,文档给出阿里云 docker-ce 源与麒麟官方依赖源的配置方法&…

📰

Delphi XE10.2 安装 TMS Component Pack v8.3.4.0 兼容指南

简介:本资源为Delphi XE10.2 Tokyo平台专用的TMS Component Pack v8.3.4.0完整开发组件包,面向中高级Windows桌面及跨平台(Android/iOS)Delphi开发者,解决UI构建、数据绑定、图表可视化、数据库导航等高频开发需求。压…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬