服务项目

显存泄漏/占用

一句话定位:显存被异常占用或持续泄漏,最终导致 OOM,任务无法运行。

故障现象

  • nvidia-smi 显示显存已使用,但进程列表为空
  • 多次运行后显存持续增长,最终 OOM
  • 重启任务后显存仍无法释放

可能原因

  • 驱动或框架 Bug 导致显存泄漏
  • 僵尸进程占用 GPU 资源
  • 异常程序未正常释放显存

维修方案

  • 查找并结束占用进程
  • 重新加载 GPU 驱动模块,释放泄漏显存
  • 升级驱动至稳定版本,或修复框架版本
  • 建立显存监控与告警机制
滚动至顶部