服务项目

NVLink通信故障

一句话定位：多卡通信链路异常，影响分布式训练性能，甚至导致训练中断。

故障现象

多卡训练报 NCCL error 或 NVLink communication failure
nvidia-smi nvlink –status 显示部分链路 Down
多卡训练带宽异常，远低于理论值

可能原因

NVLink 桥接或线缆松动、氧化
NVLink 接口硬件损坏
不同 NVLink 版本混布
InfiniBand 网络配置异常

维修方案

断电拔插 NVLink 桥接/线缆，确认连接状态
更换故障桥接或线缆
运行 NCCL 测试验证多卡通信稳定性
接口硬件损坏时进行芯片级维修或更换