尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
ClawGUI Episode记录与回放:把每次GUI任务变成可复用训练数据的技巧
【免费下载链接】ClawGUIBuild, Evaluate, and Deploy GUI Agents — online RL training, standardized benchmarks, and real-device deployment in one framework.项目地址https://gitcode.com/gh_mirrors/cl/ClawGUI点击查看免费下载ClawGUI 是一个覆盖「训练 → 评测 → 部署」全流程的 GUI 智能体GUI Agent开源框架。其中训练模块 ClawGUI-RL 在 Online RL 训练时会自动记录每一个 Episode完整任务轨迹每一步的截图、模型推理、动作坐标全部落盘保存并内置可视化服务可逐帧回放任意一次 Rollout。这意味着每次 GUI 任务的成败过程都可以被复查、标注、复用变成宝贵的训练数据资产。为什么 Episode 数据对 GUI 智能体训练至关重要GUI 智能体完成任务不是一步到位而是一段多步轨迹接收截图 → 推理 → 输出动作点击/滑动/输入/终止→ 拿到下一张截图循环直到任务结束或达到max_steps。这样一段完整轨迹就称为一个Episode。标准 GRPO 只会给整个 Episode 一个总分无法回答第 3 步点错了还是第 7 步滑偏了。ClawGUI-RL 用GiGPO算法做锚定状态分组anchor-state grouping实现步骤级信用分配而这一切的前提就是每一步的截图、响应、奖励都被完整记录了下来。自动记录训练即存档无需手动埋点ClawGUI-RL 的多轮 Rollout 循环在每一步结束后自动调用save_episode_to_json()把观测截图base64 解码后存为 PNG和模型响应追加写入 JSON核心逻辑见 save_episode_to_json()调用点位于 rollout_loop.py。每个 Episode 独立成目录结构如下episode/task_name/episode_id/ ├── episode.json # 元信息 每步记录 └── images/ ├── step_0000.png ├── step_0001.png └── ...episode.json中的关键字段一览字段位置含义task_name/task_goalmeta_data任务名称与目标描述success/eval_scoremeta_data任务是否成功、判分结果episode_reward/episode_lengthmeta_data总奖励与步数model_response每步模型原始输出含 thinking 与 tool_callstep_reward/step_reward_reason每步可选PRM 过程奖励模型的打分与理由image_path/timestamp每步截图路径与时间戳任务结束后update_episode_result() 会回填最终评估结果使每条轨迹自带成败标签——这让它天然适合做失败案例库或回归评测集。一键启动 Episode 回放可视化服务仓库内置了一个 FastAPI 可视化服务 episode_visualizer.py启动方式cd clawgui-rl python3 scripts/episode_visualizer.py服务默认扫描clawgui-rl/scripts/episode/目录EPISODE_ROOT在浏览器打开http://localhost:8799即可使用左侧任务树按 task → episode 两级组织一眼定位任意一次 Rollout️坐标自动标注解析每步tool_call把动作画回截图上——点击是红色圆点、长按是橙色双圈、滑动是蓝色方向箭头、拖拽是紫线支持「标注 / 原图」一键切换⌨️逐帧回放Step 导航按钮 A/D或左右方向键前后翻页详情面板完整展示每步的 Action 参数、thinking 推理过程和 Raw Response排查智能体为什么没完成任务时逐帧翻看标注图比翻日志高效得多。5 个把 Episode 变成可复用数据的技巧先回放坏案例再动手调参训练中出现成功率波动时先用可视化器回放success: false的轨迹定位是定位不准grounding 问题还是路径规划错误再针对性地调整history_length、max_steps等参数如 run_mobileworld.sh。开启 PRM 记录步骤级奖励在训练脚本中设置step_reward_judgeTrue并配置 VLM 判官见 run_mobileworld.shEpisode 中会额外留下每一步的{0, 1}打分和理由为后续优化提供更密集的监督信号。配合 GiGPO 做锚定状态分析把多条轨迹中到达相同中间状态的步骤对比起来正是 GiGPO 步骤级优势估计的核心——Episode 存档让你可以直接人工验证这种分组是否合理。按 success 标签建案例库meta_data.success字段让筛选失败案例变成一条简单的 JSON 过滤可沉淀为失败案例回归集每次模型迭代后重跑对比。复用为 SFT / 评测数据成功轨迹截图序列 动作序列 推理文本本身就是一条高质量多模态 SFT 样本配合 ClawGUI-Eval 的 Infer → Judge → Metric 评测流水线还能把历史 Episode 变成固定回归基准。正如实验结果所示完全用此管线端到端训练的ClawGUI-2B在 MobileWorld 上把成功率从基线的 11.1 提升到 17.1——背后正是这种记录—回放—复用的数据飞轮在起作用。目录与资料速查资料路径训练模块中文文档clawgui-rl/README_zh.mdEpisode 保存逻辑clawgui-rl/agent_system/multi_turn_rollout/utils.py可视化服务clawgui-rl/scripts/episode_visualizer.pyGiGPO 优势估计clawgui-rl/gigpo/core_gigpo.pyGiGPO 训练脚本示例clawgui-rl/examples/gigpo_trainer/run_mobileworld.sh环境包MobileWorld / 真机clawgui-rl/agent_system/environments/env_package/需要本地跑通完整流程的话可先克隆仓库git clone https://gitcode.com/gh_mirrors/cl/ClawGUI一句话总结让训练自动存档、用可视化器逐帧回放、按成败标签沉淀案例库——三招即可把 ClawGUI 的每次 GUI 任务都变成可复用的训练数据。赞分享【免费下载链接】ClawGUIBuild, Evaluate, and Deploy GUI Agents — online RL training, standardized benchmarks, and real-device deployment in one framework.项目地址https://gitcode.com/gh_mirrors/cl/ClawGUI点击查看免费下载相关推荐Deployer 集成 Rollbar用 rollbar:notify 任务自动上报每次部署记录Deployer 集成 Rollbar用 rollbar:notify 任务自动上报每次部署记录 DeployerPHP 部署工具提供了开箱即用的 RolDevOpsCI/CDCLI开发工具运维btop 系统资源监控从打开界面到定位问题最快路径btop 系统资源监控从打开界面到定位问题最快路径 晚高峰接口响应从 200ms 飙到 3s。你 SSH 进服务器 top 里几百行滚动CPU 30%、CLI指标监控运维peon-ping Trainer 模式实战用 /peon-ping-log 记录训练次数与自定义每日运动目标peon ping Trainer 模式实战用 /peon ping log 记录训练次数与自定义每日运动目标 本篇技术指南围绕 peon ping 内置的创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

EtherCAT高速高精运动控制方案:选型、配置与调试避坑指南

EtherCAT高速高精运动控制方案:选型、配置与调试避坑指南

1. 为什么高速高精场景都在往EtherCAT上靠1.1 从脉冲控制到总线控制的必然迁移如果你这几年一直在做运动控制相关的项目,应该有一个很明显的感受:以前那种“PLC发脉冲驱动器接收”的方案,在越来越多的场合里开始不够用了。不是脉冲控制不好&a…

📅 2026/10/12 22:41:23
ESP32离线语音唤醒实战:从零训练专属唤醒词并部署

ESP32离线语音唤醒实战:从零训练专属唤醒词并部署

1. 为什么我要在ESP32上折腾一个专属唤醒词市面上现成的语音助手方案其实不少,手机上的、智能音箱里的,喊一声就能应。但用久了总有种“寄人篱下”的感觉——唤醒词是固定的,识别逻辑在云端跑,断网就变砖,而且每次说话…

📅 2026/10/12 22:41:23
用Python分析上市公司舆情与股票相关性实战指南

用Python分析上市公司舆情与股票相关性实战指南

简介:一套面向金融数据分析学习者的 Python 项目源码,围绕上市公司网络舆情与股票价格的相关性分析展开。项目以新闻文本采集为起点,完成舆情评分、股票行情数据处理、相关性计算与结果可视化,覆盖数据获取、清洗、建模到出图的完…

📅 2026/10/12 22:36:23
MORE NEWS

更多资讯

📰

DevSpace 命令详解:`devspace status sync` —— 查看 Kubernetes 文件同步状态与同步日志

云原生开发工具DevOps容器编排 【免费下载链接】devspace DevSpace - The Fastest Developer Tool for Kubernetes ⚡ Automate your deployment workflow with DevSpace and develop software directly inside Kubernetes. 项目地址: https://gitcode.com/gh_mirro…

📰

FontTools cvar 表全解析:CVT 变体数据结构的编译、解译与工程实践

开发工具 【免费下载链接】fonttools A library to manipulate font files from Python. 项目地址: https://gitcode.com/gh_mirrors/fo/fonttools 点击查看 免费下载 导读 本文聚焦 FontTools 中 OpenType cvar(Control Value Table Variations&#…

📰

PDF 补丁丁 PDFPatcher:免费永不过期的 PDF 工具箱,合并、书签、OCR 十项操作一站搞定

PDF 补丁丁 PDFPatcher:免费永不过期的 PDF 工具箱,合并、书签、OCR 十项操作一站搞定 【免费下载链接】PDFPatcher PDF补丁丁——PDF工具箱,可以编辑书签、剪裁旋转页面、解除限制、提取或合并文档,探查文档结构,提取…

📰

QOwnNotes 安装指南:在 Raspberry Pi OS 上通过 APT 仓库部署并解决 Keychain 密钥故障

桌面应用 【免费下载链接】QOwnNotes QOwnNotes is a plain-text file notepad and todo-list manager with Markdown support and Nextcloud / ownCloud integration. 项目地址: https://gitcode.com/gh_mirrors/qo/QOwnNotes 点击查看 免费下载 本文介绍如何在 R…

📰

CloudStack私有云搭建:面向云安全实践的可控IaaS实验环境

1. 项目概述:为什么今天还要亲手搭一套CloudStack?“云安全”这个词现在常被挂在PPT首页,但真正能说清底层控制面怎么加固、租户网络如何隔离、存储策略怎样影响数据生命周期的人,其实不多。我最近在某高校实验室带一个模拟项目X&…

📰

C#面向对象实战:Ellipse继承Circle的继承边界与IComparable/IComparer排序设计

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬