인공지능(Artificial Intelligence)/딥러닝(Deep Learning)
-
높은 학습률은 nan 예측을 만들 수 있다.인공지능(Artificial Intelligence)/딥러닝(Deep Learning) 2023. 1. 8. 23:42
모델의 그라디언트가 너무 커지게 되면 모델의 가중치가 너무 높거나 낮아져 모델의 예측이 nan이 될 수 있다. 이를 방지 하기 위해선 1) 낮은 학습률 2) gradient clipping 3) weight decay 등을 적용 할 수 있다. 1)은 그라디언트의 크기를 줄이는 용 2), 3)은 모델의 가중치에 대한 큰 그라디언트의 효과를 완화시키는 용 warmup scheduler를 이용해 eta_max (learning rate의 상한치)를 1e-2~5e-3를 주었을 때 2번째 에폭 학습 도중 모델의 결과가 nan이 발생하였다. 이를 1e-3을 줄임으로써 문제가 해결되었다. scheduler = CosineAnnealingWarmUpRestarts(optimizer, T_0=10, T_up=2, eta..
-
Mixed precision methods인공지능(Artificial Intelligence)/딥러닝(Deep Learning) 2022. 6. 15. 10:05
요약 Mixed precision methods은 계산시 다른 수치 포맷을 사용하는 방법을 포함한다. 서론 32-bit 부동소수점 보다 낮은 정밀도를 가진 수치 포맷을 사용하는 것은 여러 이득을 준다. 1. 메모리를 덜 필요로 한다. 이는 더 큰 신경망을 학습하고 deployment할 수 있게 한다. 2. 메모리 bandwidth를 덜 필요로 한다. 이는 데이터 전송 연산의 속도를 올려준다. 3. 수학 연산이 더 빠르게 작동한다. 특히 Tensor Core 지원하는 GPU에서의 성능 개선을 보여준다. 참고 https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html