尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
昇腾平台VeRL测试方法概述
​作者​昇腾实战派​知识地图​https://blog.csdn.net/Lumos_Lovegood/article/details/161601003背景简介VeRL原生支持GPU昇腾作为VeRL开源社区贡献方对VeRL进行适配使其能在NPU上运行。因此需要对社区原生特性在NPU上的支持情况以及一些NPU上的新增特性进行测试。简单说强化学习包含训练和推理两部分是一种边推边训的框架。区别于预训练和微调强化学习是后训练基于推理的结果对训练进行指导。下面介绍VeRL的测试方法环境部署安装HDK、CANN、PTA准备VeRL、vllm、vllm-ascend、Megatron可选、MindSpeed可选等源码安装相关依赖verl/blob/main/docs/ascend_tutorial/get_start/quick_start.rst以release的版本v0.8.0为例基本配套如下verlvllmvllm-ascendtorchtorch_npucannv0.8.00.18.00.18.02.9.02.9.0.post29.0.0详细配套请参考verl/docs/ascend_tutorial/get_start/install_guidance.rst at main · verl-project/verl · GitHub模型训练数据预处理、权重转换、参数配置、启动训练性能throughput端到端吞吐perf/time_per_step单步总时长精度参考指标critic/rewards/mean类似LLM的loss但是越高越好一般要求训练过程中rewards是上升趋势测试验收方式如果是有标杆的情况需要使用训练后保存的权重进行评测参考下面模型推理的精度测试方法模型推理评测服务端使用模型训练的环境拉起服务端# NPU服务端python-mvllm.entrypoints.openai.api_server\--model/home/zbz/Qwen3-32B/\--served-model-name auto\--gpu-memory-utilization0.9\--max-num-seqs24\--max-model-len22528\--max-num-batched-tokens22528\--enforce-eager\--trust-remote-code\--distributed_executor_backendmp\--tensor-parallel-size4\--data-parallel-size1\--generation-config vllm\--port6380model训练后的权重路径需要是hf格式保存后的若是mg格式需要转回hftensor-parallel-sizeTP建议和训练时infer的配置保持一致data-parallel-sizeDP建议和训练时infe的配置保持一致port可任意设置空闲端口max-model-len输入序列长度输出序列长度max-num-batched-tokens 和max-model-len一致即可客户端另起一个会话并且需要新建一个conda或者venv环境安装ais-benchmark避免环境依赖冲突gitclone https://gitee.com/aisbench/benchmark.gitcdbenchmark/ pip3install-e./ --use-pep517按需下载aime、MATH等数据集放到benchmark/ais_bench/datasets目录下然后修改评测脚本vim benchmark/ais_bench/benchmark/configs/models/vllm_api/vllm_api_stream_chat.pyfromais_bench.benchmark.utils.model_postprocessorsimportextract_non_reasoning_contentfromais_bench.benchmark.modelsimportVLLMCustomAPIChatStream models[dict(attrservice,# local or servicetypeVLLMCustomAPI,abbrvllm-api-general,path,model,max_seq_len2048,# 输入长度request_rate0,rpm_verboseFalse,retry2,host_iplocalhost,# 推理服务的IPhost_port6380,# 推理服务的端口enable_sslFalse,max_out_len20480,# 最大输出tokens长度batch_size48,# 推理的最大并发数generation_kwargsdict(temperature0,seed1234,))]评测命令如下ais_bench --models vllm_api_chat --datasets aime2024_gen其中datasets的值需要和benchmark/ais_bench/benchmark/configs/datasets/下各数据集的py文件名称对应一致下面提供循环评测的代码以便验证# 启动命令#!/bin/bashfor((i1;i4;i))doechoaime2024_gen times:$iais_bench--modelsvllm_api_stream_chat--datasetsaime2024_gendonefor((i1;i4;i))doechomath_prm800k_500_0shot_cot_gen times:$iais_bench--modelsvllm_api_stream_chat--datasetsmath_prm800k_500_0shot_cot_gendone故障排查执行训练脚本后ray从一开始就连不通确保各节点python版本、ray的版本一致且各节点没有开启防火墙确保ray通信不会被拦截。可以使用以下代码进行测试关闭防火墙systemctl stop firewalld主节点ray start --head --port 6366备节点ray start --address主节点ip:6366若无法联通需要检查环境的集群配置是否正常。执行训练脚本后一开始ray能联通后续ray自行断联这种情况一般是备节点能够联通主节点但主节点无法联通备节点。可以互换主备节点使用1的方式进行测试。评测报错ValueError: This model’s maximum context length is 0 tokens. However, your request has 195 input tokens. Please reduce the length of the input messages.benchmark/ais_bench/benchmark/configs/models/vllm_api/vllm_api_general.py脚本中的输入输出长度和服务端脚本max_model_len不对应max_model_len 输入输出。
RELATED

相关推荐

如何解决Office功能区定制复杂性:Office RibbonX Editor的5个关键技术突破

如何解决Office功能区定制复杂性:Office RibbonX Editor的5个关键技术突破

如何解决Office功能区定制复杂性:Office RibbonX Editor的5个关键技术突破 【免费下载链接】office-ribbonx-editor An overhauled fork of the original Custom UI Editor for Microsoft Office, built with WPF 项目地址: https://gitcode.com/gh_mirrors/of/of…

📅 2026/11/17 22:07:24
3行代码搞定大模型微调:LoRA/QLoRA/Full-tuning实战对比

3行代码搞定大模型微调:LoRA/QLoRA/Full-tuning实战对比

3行代码搞定大模型微调:LoRA/QLoRA/Full-tuning实战对比 【免费下载链接】LlamaFactory Unified Efficient Fine-Tuning of 100 LLMs & VLMs (ACL 2024) 项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory 还在为大模型微调选择哪种方法发…

📅 2026/11/16 2:01:41
老旧Mac重生指南:3步解锁现代macOS完整体验

老旧Mac重生指南:3步解锁现代macOS完整体验

老旧Mac重生指南:3步解锁现代macOS完整体验 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 你是否还在为苹果官方放弃支持的老旧Mac设备感到惋惜&…

📅 2026/11/16 20:37:55
MORE NEWS

更多资讯

📰

云南低电压电工证培训2026河南最新政策下怎么应对

云南低电压电工证培训2026河南最新政策下怎么应对 之前考的证在外省能不能转过来?这个问题是很多已经在外地工作、但打算回云南发展的电工朋友最关心的。随着2026河南最新政策的出台,特种作业证的管理更趋规范,跨省证件的转接流程也更加清晰。特别…

📰

云南低电压电工证培训千万别踩坑:外省证书怎么转?真实案例告诉你

云南低电压电工证培训千万别踩坑:外省证书怎么转?真实案例告诉你 之前考的证在外省能不能转过来?这几乎是所有想在云南从事低压电工工作的人都会问的问题。别急,我来告诉你怎么走流程、怎么避坑,特别是那些从河南、山东等地过来的朋友,千万别踩坑。…

📰

莱芜考电工证地址怎么找?怕考不过白交培训费?先看这篇

莱芜考电工证地址怎么找?怕考不过白交培训费?先看这篇 怕考不过白交培训费?别急,先搞清楚莱芜考电工证地址怎么找,再掌握备考技巧,证书含金量才不会打水漂。电工证是从事电气作业的基础门槛,不管是刚毕业的工程类学生,还是想转行的打工族,都绕不开这…

📰

电工证下证时间全国通用,找工作先考证才靠谱

电工证下证时间全国通用,找工作先考证才靠谱 找工作前先考电工证,否则连面试机会都没有,尤其是建筑行业,电工证全国通用,是上岗的硬门槛。最近在鹤壁的建筑工地上,很多工人因为没有电工证被拒之门外,连临时工的机会都拿不到。电工证下证时间是大家最关…

📰

电工证复审时间限制怎么查?网上查询方法+延期攻略全知道

电工证复审时间限制怎么查?网上查询方法+延期攻略全知道 证书过期了不知道怎么复审延期?别急,电工证复审时间限制其实有明确的规定,只要你 网上查询…

📰

成都犀浦报名电工证怎么考不白交钱?含金量高不高?

成都犀浦报名电工证怎么考不白交钱?含金量高不高? 怕考不过白交培训费?你不是一个人。很多在成都犀浦报名电工证的学员,都担心交了钱最后连个证书都拿不到。其实,只要搞懂流程、选对机构, 含金量…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬