统信 UOS + 沐曦 C500 容器化部署 SGLang 推理完整实操手册-北京尧图网络

️ 基础环境组件规格/版本操作系统UOS V25 服务器操作系统服务器型号浪潮 AI 服务器 (NF5468m6)AI 加速卡沐曦C500驱动版本metax-driver-3.7.2.30-rpm-x86_64.runSDK版本maca-sdk-3.7.2.0-rpm-x86_64.tar.xzDocker 版本v24.0.9 驱动和SDK安装请参考UOS V2500 沐曦驱动安装手册容器化部署1. 拉取官方镜像dockerpull registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.92. 创建并启动容器dockerrun-d\--networkhost\--ipchost\--namesglang-api\--shm-size 100G\--ulimitmemlock-1\--ulimitnofile1024000\--device/dev/dri\--device/dev/mxcd\--device/dev/mem\--group-add video\--privileged\--security-optseccompunconfined\--security-optapparmorunconfined\-eCUDA_VISIBLE_DEVICES1\-v/data/models/:/models:ro\registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.9\sleepinfinity3. 进入容器环境dockerexec-itsglang-api /bin/bash4.启动 sglang 推理服务python-msglang.launch_server --model-path /models/DeepSeek-R1-Distill-Qwen-32B\--host0.0.0.0\--port9100\--served-model-name deepseek\--tensor-parallel-size2\--mem-fraction-static0.9\--trust-remote-code\--attention-backend flashinfer\--enable-metrics\--disable-radix-cache\--disable-chunked-prefix-cache\--disable-cuda-graph 服务启动成功截图✅ 服务验证发送测试请求curl-XPOST http://localhost:9100/v1/chat/completions\-HContent-Type: application/json\-d{ model: deepseek, messages: [{role: user, content: 你好请介绍一下自己}], temperature: 0.7, max_tokens: 200, stream: false } 预期返回 JSON 格式的模型回复

统信 UOS + 沐曦 C500 容器化部署 SGLang 推理完整实操手册

相关推荐

计算机单片机毕设实战-基于 STM32 的多模式智能雨刮控制器设计与实现基于传感器的车辆雨量检测与雨刮档位自动控制系统（013401）

揭秘AI写头条的5大致命误区：90%的人正在浪费GPT的真正潜力

Java 编码智能体 SolonCode：打破 TS/Python 主流，适配企业 JVM 环境

更多资讯

LongProc 长程过程生成基准评测任务：在 lm-evaluation-harness 中使用与指标解析

The lunatic is on the grass

MetaMask Extension 如何用 Mock Segment API 调试 MetaMetrics 事件？

pyannote.audio 官方 FAQ 全解读：内存音频、离线使用 gated 模型、流式说话人日志与性能提升

如何 5 分钟跑通 SillyTavern：免费 AI 角色扮演聊天室的完整上手指南

将 InsForge 自托管到 Dokploy：Compose 应用部署完整指南

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？