verl 如何覆盖 Qwen 模型的 RoPE Scaling 配置以支持更长上下文训练-北京尧图网络

verl 如何覆盖 Qwen 模型的 RoPE Scaling 配置以支持更长上下文训练【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl有些模型例如文档中给出的Qwen/Qwen2.5-7B-Instruct这类 Qwen 模型支持 RoPE Scaling但它们的config.json里并没有定义rope_scaling字段。此时模型本身具备扩展上下文的能力而 verl 加载模型时读到的是原始 HF config不会自动补上这段配置。verl 提供的做法是在启动 trainer 时通过override_config覆盖 HF 模型配置把rope_scaling写进去从而支持更长的上下文训练。本文的操作内容即来自 RoPE Scaling override 文档适用对象是启动 PPO 类 trainer 时的模型配置覆盖场景。先确认你的模型属于这种场景判断方法很直接查看模型config.json其中没有rope_scaling字段但模型说明支持 RoPE Scaling例如 yarn 扩展。这种情况下你需要在 verl 侧把配置补上而不是修改模型目录里的config.json。文档给出的 RoPE Scaling 配置示例如下以下示例值来自文档用于展示 yarn 扩展的典型写法{ ..., rope_scaling: { factor: 4.0, original_max_position_embeddings: 32768, type: yarn } }factor、original_max_position_embeddings具体取什么值应依据你所用模型官方支持的长文本扩展配置不要直接照抄文档示例数值当成固定预期。在启动命令中覆盖 actor 模型的 RoPE Scalingverl 的模型配置中有一个通用的override_config字段HF 模型配置定义见 HFModelConfig默认值为空 dict配置说明见 config 文档中actor_rollout_ref.model.override_config一节。启动 trainer 时用 OmegaConf 的keyvalue追加语法逐层写入actor_rollout_ref.model.override_config.rope_scaling.typeyarn \ actor_rollout_ref.model.override_config.rope_scaling.factor4.0 \ actor_rollout_ref.model.override_config.rope_scaling.original_max_position_embeddings32768 \这几行追加在你的训练启动命令里例如python3 ppo_trainer.py之后的其他参数之后。三个键对应rope_scaling的三个字段type指定 scaling 类型factor指定扩展倍数original_max_position_embeddings指定原始位置上限。文档示例使用yarn类型、factor4.0、original_max_position_embeddings32768。PPO 训练需要同时覆盖 critic 模型PPO 配置下除了 actor 模型还有 critic 模型critic 用的是同样的 HF 模型配置体系文档明确要求对 critic 单独追加一组覆盖critic.model.override_config.rope_scaling.typeyarn \ critic.model.override_config.rope_scaling.factor4.0 \ critic.model.override_config.rope_scaling.original_max_position_embeddings32768 \actor 与 critic 两组的rope_scaling值应保持一致且都取自模型官方支持的扩展配置。verl 如何应用这些覆盖项这段命令能生效的原因可以在代码里核对HFModelConfig在构造时通过AutoConfig.from_pretrained加载本地 HF config随后取出override_config若其中包含model_config键则取该子键否则直接使用override_config本身并调用update_model_config将其写入 config见 HFModelConfig.post_init。update_model_config对嵌套 dict 做递归处理键对应 dict 时递归进入否则直接setattr见 verl/utils/model.py。因此rope_scaling这种两层嵌套的覆盖会被完整写入 HF config而无需改动模型目录中的config.json。判断覆盖是否生效按上述命令正常启动训练即可配置会随 trainer 启动时加载模型阶段一起应用文档没有给出额外的校验命令或固定日志输出训练能够按你的长上下文设置继续运行即为配置已被加载。限制与边界文档给出的覆盖示例只针对 PPO 训练入口下的actor_rollout_ref与critic两个模型其他角色如 reward model文档未给出对应写法不要自行类推。该机制只覆盖训练侧加载的 HF config。rollout 推理引擎侧如何处理 RoPE Scaling文档未说明本文不作结论。走 Megatron 路径时override_config下还另有model_config、moe_config等子配置见 config 文档文档没有验证这些子配置下rope_scaling的写法请勿照搬上述命令到 Megatron 路径而不加核对。参考同一机制的其他覆盖用法例如切换 attention 实现可查阅 attention implementation override 文档。【免费下载链接】verlverl/HybridFlow: A Flexible and Efficient RL Post-Training Framework项目地址: https://gitcode.com/GitHub_Trending/ve/verl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

verl 如何覆盖 Qwen 模型的 RoPE Scaling 配置以支持更长上下文训练

相关推荐

从源码安装与校验 Apache Airflow Atlassian Jira Provider（apache-airflow-providers-atlassian-jira）

MATLAB图像分割算法实战：从阈值到活动轮廓的完整指南

华为eNSP实验：DHCP Option 43配置与AP上线排查实战

更多资讯

F405/F722/H743飞控选型指南：性能与场景精准匹配

TiKV 模糊测试（Fuzzing）实战指南：fuzz CLI 与 libFuzzer / Honggfuzz / AFL 测试目标全解析

claude-obsidian 空章节检测原理与实战：从测试夹具到 lint 引擎实现

SEO优化：2023年技术变革与未来趋势

Go语言实现圆形排序算法：原理、优化与应用

docker-minecraft-server 使用 Quilt 模组加载器：TYPE=QUILT 部署指南

今日更新

51单片机开环控制磁阻传感器的硬件匹配与代码实现

AI Agent安全操作数据库：SQL注入防御与参数化查询实战

Android逆向实战：还原激励类App签到接口的签名算法

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？