尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
启动一张 Mellanox 网卡cx5
下面是在Linux 6.8 内核Ubuntu 22.04 HWE上把 CX5 556A 以 RoCEv2 模式完整启动的流程。按顺序执行即可。假设网卡名字为 enp101s0f0 等。1. 确认驱动已加载6.8 内核自带mlx5_coreinbox 驱动CX5 开箱即用装了 MLNX_OFED 则用它自带的驱动二者其一即可lspci-nn|grep-imellanox# 应看到Mellanox Technologies MT27800 Family [ConnectX-5]lsmod|grepmlx5# 应有 mlx5_core、mlx5_ib# 若没加载手动加载sudomodprobe mlx5_coresudomodprobe mlx5_ib检查 RDMA 设备是否注册ibv_devices# 或 rdma link# 应看到 mlx5_0双口卡可能还有 mlx5_12. 确认链路类型为以太模式RoCEv2 必须跑在 ETH 模式上一步已讲这里快速复核sudomst startsudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type# LINK_TYPE_P1/P2 应为 ETH(2)否则设为 2 并 mlxfwreset 或重启3. 配置以太网口 IP切换到 ETH 模式后会出现普通 netdev名字类似enp101s0f0/enp101s0f1ip-brlink|grep-vlo用 netplan 配置Ubuntu 22.04编辑/etc/netplan/01-cx5.yamlnetwork:version:2ethernets:enp101s0f0:addresses:[192.168.100.1/24]mtu:9000# 可选大帧提升 RDMA 性能两端需一致enp101s0f1:addresses:[192.168.101.1/24]应用并拉起sudonetplan applysudoiplinksetenp101s0f0 upip-braddr show enp101s0f0两张卡光纤直连测试时对端配同网段不同 IP如 192.168.100.2能 ping 通说明链路 OK。4. 加载 RoCE/RDMA 相关模块并确认 RoCEv2sudomodprobe rdma_cmsudomodprobe ib_coresudomodprobe rdma_ucm# rping 等工具需要sudomodprobe ib_uverbs确认 RoCE 版本为 v2。查看 GID 表RoCEv2 的 GID 类型是RoCE v2show_gids|grepmlx5_0# 形如GID 3 ... IPv4 192.168.100.1 RoCE v2较新驱动默认就是 RoCEv2若需要强制 v2老驱动echo2|sudotee/sys/class/infiniband/mlx5_0/ports/1/roce_mode# 部分内核无此节点用下面方式# 通用方式perftest 测试时指定 GID index 为 RoCEv2 的那一行即可5. 验证 RoCEv2 连通性方法 Arping 快速验证rdma-core 自带# 服务端对端机器rping-s-a192.168.100.1-v# 客户端本机rping-c-a192.168.100.1-v方法 Bperftest 带宽测试sudoaptinstallperftest# 或 OFED 自带# 服务端ib_write_bw-dmlx5_0--report_gbits# 客户端--gid-index 选 show_gids 中 RoCE v2 对应的行号ib_write_bw-dmlx5_0--report_gbits192.168.100.1 --gid-index3跑通即说明 RoCEv2 已正常工作CX5 单口应能接近线速EDR/100GbE 下 RoCEv2 约 90 Gbps。6. 可选配置无损网络点对点直连先跑通可跳过接交换机或对丢包敏感时配置 PFCsudoaptinstallmlnx-tools# 在优先级 3 上启用 PFC两端及交换机都要配sudomlnx_qos-ienp101s0f0--pfc0,0,0,1,0,0,0,0--trustdscp常见问题速查现象排查ibv_devices为空lsmod | grep mlx5dmesg | grep mlx5看固件/驱动报错没有 netdev 出现链路类型还是 IB回第 2 步改 ETH 并复位ping 通但 ib_write_bw 失败--gid-index选错选了 RoCE v1 或 IB 的 GID用show_gids找RoCE v2行速率低两端 MTU 不一致协商速率不对ethtool enp101s0f0 | grep Speed线缆/AOC 不匹配mst status无设备先sudo mst start再lspci确认卡被识别你之前遇到过 PCI reads not working那是硬件/固件层面问题需先解决到这里CX5 556A 就以 RoCEv2 模式正常启动了后续可以接 NCCL、UCX 或自研 verbs 程序做 GPU-initiated networking 等上层测试。
RELATED

相关推荐

HeyGen多语言口播效能跃迁(实测提升83%出片效率):2024最新API+Prompt双驱动工作流

HeyGen多语言口播效能跃迁(实测提升83%出片效率):2024最新API+Prompt双驱动工作流

更多请点击: https://kaifayun.com 第一章:HeyGen多语言口播效能跃迁的底层逻辑与实测基准 HeyGen 的多语言口播能力并非简单叠加语音合成模块,而是依托于其端到端神经语音建模(Neural Voice Modeling, NVM)架构与跨语…

📅 2026/9/9 1:19:07
Coze扣子与RAG融合实践:如何用50行代码将知识库召回率从63%提升至91.7%(附AB测试报告)

Coze扣子与RAG融合实践:如何用50行代码将知识库召回率从63%提升至91.7%(附AB测试报告)

更多请点击: https://codechina.net 第一章:Coze扣子与RAG融合实践概述 Coze扣子作为新一代低代码AI Bot开发平台,凭借其可视化编排能力、内置知识库支持及丰富的插件生态,为RAG(Retrieval-Augmented Generation&…

📅 2026/8/23 17:22:04
Devin AI工程师调试黑箱模型的9种反直觉技巧:基于127个真实生产故障案例的根因分析法

Devin AI工程师调试黑箱模型的9种反直觉技巧:基于127个真实生产故障案例的根因分析法

更多请点击: https://codechina.net 第一章:Devin AI工程师调试黑箱模型的范式革命 传统黑箱模型调试依赖人工猜测、梯度可视化与局部扰动,效率低下且缺乏可复现性。Devin AI通过构建“可干预推理轨迹(Interventional Reasoning…

📅 2026/9/8 17:52:54
MORE NEWS

更多资讯

📰

MuJoCo相机系统实战:3种机位模式+关键调参,拍出专业仿真画面

MuJoCo相机系统实战:3种机位模式关键调参,拍出专业仿真画面 【免费下载链接】mujoco Multi-Joint dynamics with Contact. A general purpose physics simulator. 项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco MuJoCo 是一个多刚体接…

📰

储能系统三大核:电池PACK、BMS与EMS/PCS协同的关键选型逻辑

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

MicroPython存储机制深度解析:从Flash擦写到VFS挂载

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

OpenClaw云端部署与集成:4分钟跑通智能体底座

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

JAVA毕业设计-基于 SpringBoot 的校园学生健康监测系统的设计与实现 基于 SpringBoot 的大学生健康管理系统(源码+LW+部署文档+全bao+远程调试+代码讲解等)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

📰

MuJoCo机械臂抓取失稳排查:3个接触参数调对,滑落和姿态漂移全解决

MuJoCo机械臂抓取失稳排查:3个接触参数调对,滑落和姿态漂移全解决 【免费下载链接】mujoco Multi-Joint dynamics with Contact. A general purpose physics simulator. 项目地址: https://gitcode.com/GitHub_Trending/mu/mujoco 如果你在用 MuJ…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬