统信 UOS + 沐曦 C500 容器化部署 SGLang 推理完整实操手册-北京尧图网络

️ 基础环境组件规格/版本操作系统UOS V25 服务器操作系统服务器型号浪潮 AI 服务器 (NF5468m6)AI 加速卡沐曦C500驱动版本metax-driver-3.7.2.30-rpm-x86_64.runSDK版本maca-sdk-3.7.2.0-rpm-x86_64.tar.xzDocker 版本v24.0.9 驱动和SDK安装请参考UOS V2500 沐曦驱动安装手册容器化部署1. 拉取官方镜像dockerpull registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.92. 创建并启动容器dockerrun-d\--networkhost\--ipchost\--namesglang-api\--shm-size 100G\--ulimitmemlock-1\--ulimitnofile1024000\--device/dev/dri\--device/dev/mxcd\--device/dev/mem\--group-add video\--privileged\--security-optseccompunconfined\--security-optapparmorunconfined\-eCUDA_VISIBLE_DEVICES1\-v/data/models/:/models:ro\registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.9\sleepinfinity3. 进入容器环境dockerexec-itsglang-api /bin/bash4.启动 sglang 推理服务python-msglang.launch_server --model-path /models/DeepSeek-R1-Distill-Qwen-32B\--host0.0.0.0\--port9100\--served-model-name deepseek\--tensor-parallel-size2\--mem-fraction-static0.9\--trust-remote-code\--attention-backend flashinfer\--enable-metrics\--disable-radix-cache\--disable-chunked-prefix-cache\--disable-cuda-graph 服务启动成功截图✅ 服务验证发送测试请求curl-XPOST http://localhost:9100/v1/chat/completions\-HContent-Type: application/json\-d{ model: deepseek, messages: [{role: user, content: 你好请介绍一下自己}], temperature: 0.7, max_tokens: 200, stream: false } 预期返回 JSON 格式的模型回复

统信 UOS + 沐曦 C500 容器化部署 SGLang 推理完整实操手册

相关推荐

计算机单片机毕设实战-基于 STM32 的多模式智能雨刮控制器设计与实现基于传感器的车辆雨量检测与雨刮档位自动控制系统（013401）

揭秘AI写头条的5大致命误区：90%的人正在浪费GPT的真正潜力

Java 编码智能体 SolonCode：打破 TS/Python 主流，适配企业 JVM 环境

更多资讯

成都新都电工证实操怕挂科？郑州报考避坑指南来了

岳阳市低压电工证复审机构真实经历：实操考试心里没底怕挂科

电工证考不过丢人吗官方回应来了你还在怕被中介坑吗

办理考电工证种类怎么填写需要什么材料

松江区考电工证焊工证全国通用怎么复审？过期了不知道怎么延期怎么办

工地太忙根本没时间复习考试电工证还能复测吗千万别踩坑

今日更新

特种工指挥考试题库怎么刷才不会白交培训费？官方报名入口在这！

电工证考试多少分合格在哪考别再交冤枉钱了

福清应急管理局电工证真实经历：工地太忙根本没时间复习考试怎么办

本周精选

安监局电工证分数查询怎么查才能知道含金量高不高

新疆电工作业干活累吗良心建议助你避开考不过的坑

中牟县电工证怎么报名外省证能转吗

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？