RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable

RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable

RuntimeError: CUDA 오류: 모든 CUDA 지원 장치가 사용 중이거나 사용할 수 없습니다.

 

GPU 상태 확인 위해 nvidia-smi를 확인해보자.

nvidia-smi

헉 0번 GPU 상태가 이상하다! GPU Fan, Pwr Usage에서 Error가 생겼다. 구글 서치를 해보니 팬을 청소해라, reboot해라 등의 해결 방안들이 있었다.

 

사용 가능한 1번 GPU를 사용하려면, 명령어 실행 시 가장 앞에 

 

CUDA_VISIBLE_DEVICES=1 python main.py

 

CUDA_VISIBLE_DEVICES=1으로 사용할 GPU 넘버를 명시하면 된다.

multigpu (distributed learning)을 사용하는 경우엔 CUDA_VISIBLE_DEVICES=0, 1 이런 식으로 사용하면 된다.

 

끝