opd02-北京尧图网络

第二章 RLinf + OpenVLA-OFT 中 OPD 的完整源码机制：Action Token、Teacher Rescoring 与三个 LogProb1. RLinf 当前 OPD Recipe 的基本结构1.1 官方示例RLinf 当前 OPD 文档提供的是：Environment：LIBERO-Spatial；Student：OpenVLA-OFT；Teacher：OpenVLA-OFT；Hardware：1 node × 8 GPUs；Algorithm：OPD。最核心的一句话是：Student 是唯一与环境交互的策略；Teacher 不在 rollout 时生成动作，而是在 rollout 之后，对 Student 已保存的forward_inputs.action_tokens计算 dense token-level log probability。这一点必须牢牢记住。很多后面的源码问题，都可以从这句话推出来。2. 原论文 OPD 与 RLinf Recipe 不能完全混为一谈VLA-OPD 原论文实验 Teacher 是 SimpleVLA-RL 等 expert policy，Student 使用 OpenVLA-OFT initialization；论文 LIBERO 主实验使用 batch size 64、group size 8。RLinf 当前示例则使用：Student checkpoint：RLinf/RLinf-OpenVLAOFT-LIBERO-130-Base-LoraTeacher checkpoint：RLinf/RLinf-OpenVLAOFT-LIBERO-130并要求二者使用同一个：libero_130_no_noops_trajall作为unnorm_key。所以应该区分：原论文：证明算法思想。RLinf：提供一套具体工程实现。3. OpenVLA-OFT 的 Action 到底是不是离散 Token3.1 不能简单说“OpenVLA-OFT 就是离散动作模型”OpenVLA-OFT 原论文实际上强调 continuous action representation、parallel decoding 和 L1 regression。citeturn975741academia80所以不能泛化成：所有 OpenVLA-OFT 都只使用离散 action token。3.2 但 RLinf 当前 OPD 路径确实使用 Action Token Probability在 RLinf 当前 OPD/RL interface 中，OpenVLA-OFT 会输出：Z∈RB×Naction×VZ\in\mathbb R^{B\times N_{action}\times V}Z∈RB×Naction×V其中：BBB：batch size；NactionN_{action}Naction：action token positions；VVV：vocabulary size。然后对每个 action position 进行 categorical sampling。源码直接使用：torch.multinomial。turn110452view3所以：RLinf当前OPD概率空间中的Action是离散Token\boxed{\text{RLinf 当前 OPD 概率空间中的 Action 是离散 Token}}RLinf当前OPD概率空间中的Action是离散Token4. 为什么环境最终执行的却还是连续动作Action Token 只是概率建模表示。例如 Student 采到：yj=31980y_j=31980yj=31980这个数字不是机械臂真实控制值。源码随后把 token 映射到 action bin，再映射到 normalized continuous value，最后根据 dataset statistics 反归一化。可以理解为：阶段 2：Token 到连续动作阶段 1：离散动作采样阶段 0：模型输出数据模块：Action-Slot LogitsShape: [B, N_action, V]随机模块：Categorical Action Sampling数据模块：Action Token IDsShape: [B, N_action]操作模块：Token-to-Bin Mapping数据模块：Discretized Action Bin操作模块：Bin-Center Lookup数据模块：Normalized Continuous Action

opd02

相关推荐

Modbus RTU调试总失败？用串口工具抓包，五分钟定位问题

Redis缓存穿透与击穿实战：从CacheClient工具类设计到面试应答

N.E.K.O.Agent智能体实战：配置Computer Use与Browser Use，让AI猫娘帮你操作电脑和浏览器

更多资讯

本地AI代理助手如何落地？两级流水线：硬规则前置与模型兜底

ComfyUI+PS工作流实战：从可控生成到商业级AI绘画交付

HCL模拟器实操核验：20个H3CNE核心实验通关指南

Java并发编程面试高频考点：线程池、锁与AQS原理全解析

MCP的stdio和sse的区别：TaoToken统一Key下两种传输方式怎么选

WorkBuddy 深度解析：Agent 调度、Skill 开发与 models.json 配置实战

今日更新

MATLAB+Yalmip+CPLEX实战：综合能源系统优化调度全流程解析

I3C比I2C快10倍？RK3576实战：速率、DTS配置与混合总线避坑指南

字符串转对象：JSON.parse、new Function与URLSearchParams

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？