尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
启动一张 Mellanox 网卡cx5
下面是在Linux 6.8 内核Ubuntu 22.04 HWE上把 CX5 556A 以 RoCEv2 模式完整启动的流程。按顺序执行即可。假设网卡名字为 enp101s0f0 等。1. 确认驱动已加载6.8 内核自带mlx5_coreinbox 驱动CX5 开箱即用装了 MLNX_OFED 则用它自带的驱动二者其一即可lspci-nn|grep-imellanox# 应看到Mellanox Technologies MT27800 Family [ConnectX-5]lsmod|grepmlx5# 应有 mlx5_core、mlx5_ib# 若没加载手动加载sudomodprobe mlx5_coresudomodprobe mlx5_ib检查 RDMA 设备是否注册ibv_devices# 或 rdma link# 应看到 mlx5_0双口卡可能还有 mlx5_12. 确认链路类型为以太模式RoCEv2 必须跑在 ETH 模式上一步已讲这里快速复核sudomst startsudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type# LINK_TYPE_P1/P2 应为 ETH(2)否则设为 2 并 mlxfwreset 或重启3. 配置以太网口 IP切换到 ETH 模式后会出现普通 netdev名字类似enp101s0f0/enp101s0f1ip-brlink|grep-vlo用 netplan 配置Ubuntu 22.04编辑/etc/netplan/01-cx5.yamlnetwork:version:2ethernets:enp101s0f0:addresses:[192.168.100.1/24]mtu:9000# 可选大帧提升 RDMA 性能两端需一致enp101s0f1:addresses:[192.168.101.1/24]应用并拉起sudonetplan applysudoiplinksetenp101s0f0 upip-braddr show enp101s0f0两张卡光纤直连测试时对端配同网段不同 IP如 192.168.100.2能 ping 通说明链路 OK。4. 加载 RoCE/RDMA 相关模块并确认 RoCEv2sudomodprobe rdma_cmsudomodprobe ib_coresudomodprobe rdma_ucm# rping 等工具需要sudomodprobe ib_uverbs确认 RoCE 版本为 v2。查看 GID 表RoCEv2 的 GID 类型是RoCE v2show_gids|grepmlx5_0# 形如GID 3 ... IPv4 192.168.100.1 RoCE v2较新驱动默认就是 RoCEv2若需要强制 v2老驱动echo2|sudotee/sys/class/infiniband/mlx5_0/ports/1/roce_mode# 部分内核无此节点用下面方式# 通用方式perftest 测试时指定 GID index 为 RoCEv2 的那一行即可5. 验证 RoCEv2 连通性方法 Arping 快速验证rdma-core 自带# 服务端对端机器rping-s-a192.168.100.1-v# 客户端本机rping-c-a192.168.100.1-v方法 Bperftest 带宽测试sudoaptinstallperftest# 或 OFED 自带# 服务端ib_write_bw-dmlx5_0--report_gbits# 客户端--gid-index 选 show_gids 中 RoCE v2 对应的行号ib_write_bw-dmlx5_0--report_gbits192.168.100.1 --gid-index3跑通即说明 RoCEv2 已正常工作CX5 单口应能接近线速EDR/100GbE 下 RoCEv2 约 90 Gbps。6. 可选配置无损网络点对点直连先跑通可跳过接交换机或对丢包敏感时配置 PFCsudoaptinstallmlnx-tools# 在优先级 3 上启用 PFC两端及交换机都要配sudomlnx_qos-ienp101s0f0--pfc0,0,0,1,0,0,0,0--trustdscp常见问题速查现象排查ibv_devices为空lsmod | grep mlx5dmesg | grep mlx5看固件/驱动报错没有 netdev 出现链路类型还是 IB回第 2 步改 ETH 并复位ping 通但 ib_write_bw 失败--gid-index选错选了 RoCE v1 或 IB 的 GID用show_gids找RoCE v2行速率低两端 MTU 不一致协商速率不对ethtool enp101s0f0 | grep Speed线缆/AOC 不匹配mst status无设备先sudo mst start再lspci确认卡被识别你之前遇到过 PCI reads not working那是硬件/固件层面问题需先解决到这里CX5 556A 就以 RoCEv2 模式正常启动了后续可以接 NCCL、UCX 或自研 verbs 程序做 GPU-initiated networking 等上层测试。
RELATED

相关推荐

HeyGen多语言口播效能跃迁(实测提升83%出片效率):2024最新API+Prompt双驱动工作流

HeyGen多语言口播效能跃迁(实测提升83%出片效率):2024最新API+Prompt双驱动工作流

更多请点击: https://kaifayun.com 第一章:HeyGen多语言口播效能跃迁的底层逻辑与实测基准 HeyGen 的多语言口播能力并非简单叠加语音合成模块,而是依托于其端到端神经语音建模(Neural Voice Modeling, NVM)架构与跨语…

📅 2026/9/11 15:21:53
Coze扣子与RAG融合实践:如何用50行代码将知识库召回率从63%提升至91.7%(附AB测试报告)

Coze扣子与RAG融合实践:如何用50行代码将知识库召回率从63%提升至91.7%(附AB测试报告)

更多请点击: https://codechina.net 第一章:Coze扣子与RAG融合实践概述 Coze扣子作为新一代低代码AI Bot开发平台,凭借其可视化编排能力、内置知识库支持及丰富的插件生态,为RAG(Retrieval-Augmented Generation&…

📅 2026/10/4 11:02:20
Devin AI工程师调试黑箱模型的9种反直觉技巧:基于127个真实生产故障案例的根因分析法

Devin AI工程师调试黑箱模型的9种反直觉技巧:基于127个真实生产故障案例的根因分析法

更多请点击: https://codechina.net 第一章:Devin AI工程师调试黑箱模型的范式革命 传统黑箱模型调试依赖人工猜测、梯度可视化与局部扰动,效率低下且缺乏可复现性。Devin AI通过构建“可干预推理轨迹(Interventional Reasoning…

📅 2026/10/2 3:07:37
MORE NEWS

更多资讯

📰

有几级电工证怎么考?保姆级教程教你从0到拿证

有几级电工证怎么考?保姆级教程教你从0到拿证 你是不是也担心自己学历不高,连特种作业证都报不上名?别急,今天我就用10年行业经验,从三门峡劳务班组负责人的角度,给你讲清楚【有几级电工证】的整个流程,还有补办、区别这些你可能不知道的细节。…

📰

电工证复审要旧的卡吗 内部消息曝光 工地太忙根本没时间复习考试

电工证复审要旧的卡吗 内部消息曝光 工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,电工证复审要旧的卡吗?这事儿咱们得说清楚,尤其是现在项目节奏快、安全监管严,证照管理成了现场管理的头等大事。 内部消息…

📰

东营电工证年审流程全解析:多久拿证?实操考试心里没底怕挂科?

东营电工证年审流程全解析:多久拿证?实操考试心里没底怕挂科? 实操考试心里没底怕挂科,是很多准备报考或正在准备年审的电工同行最担心的问题。尤其是刚毕业的应届生,面对东营电工证年审的流程和实操要求,更是感到无从下手。 多久拿证…

📰

神木办电工证多少钱?学历不高也能考,看看这些避坑指南

神木办电工证多少钱?学历不高也能考,看看这些避坑指南 你是不是也担心学历不高,连神木办电工证都报不了?其实不然,只要你符合基本条件,完全有机会拿到这份证书。而且,神木办电工证多少钱,也并不是想象中那么贵。关键是你得知道怎么去考、怎么准备,别…

📰

抚州电工证培训机构保姆级教程:实操考试心里没底怕挂科?别慌,看完这篇就懂了

抚州电工证培训机构保姆级教程:实操考试心里没底怕挂科?别慌,看完这篇就懂了 实操考试心里没底怕挂科?很多准备报考抚州电工证培训机构的学员,第一次接触特种作业操作证考试,对流程、内容、考试形式都一知半解,担心自己在实操环节出错,影响拿证进度。…

📰

装修物业要考电工证过期了怎么复审多少钱

装修物业要考电工证过期了怎么复审多少钱 证书过期了不知道怎么复审延期?很多人在装修物业行业工作,尤其是电工岗位,手上拿着低压电工证或高压电工证,却对复审流程一无所知。等到证书快要过期,才发现自己不知道 多少钱…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬