GPU释放显存-----无进程但显存占满解决方法

记录自己在学习中遇到的问题

在训练模型时打断训练进程，之后再想进行其他的训练或者验证步骤时，会提示显存已满 out of memory

使用

nvidia-smi

查看gpu使用情况，无法看见正在进行的进程号，但显存被占满了

可以使用

ps aux|grep python

查看进程号

再使用

kill -9 进程号

来结束进程释放显存，这样就可以继续其他任务了