Mixed precision methods

요약

Mixed precision methods은 계산시 다른 수치 포맷을 사용하는 방법을 포함한다. 

 

서론

32-bit 부동소수점 보다 낮은 정밀도를 가진 수치 포맷을 사용하는 것은 여러 이득을 준다.

1. 메모리를 덜 필요로 한다. 이는 더 큰 신경망을 학습하고 deployment할 수 있게 한다.

2. 메모리 bandwidth를 덜 필요로 한다. 이는 데이터 전송 연산의 속도를 올려준다.

3. 수학 연산이 더 빠르게 작동한다. 특히 Tensor Core 지원하는 GPU에서의 성능 개선을 보여준다.

 

 

 

 

참고

https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html