Mixed Precision — 연산별 정밀도를 골라 빠르고 가볍게

Mixed Precision

연산마다 적절한 정밀도를 골라 쓰는 것이 Mixed Precision(혼합 정밀도) 예요. 선형·합성곱처럼 텐서 코어에서 빠른 float16/bfloat16과, 합산 같은 정밀도가 필요한 float32를 섞어 메모리와 시간을 줄여요. PyTorch의 torch.autocast와 GradScaler가 자동 혼합 정밀도(AMP)를 제공해요.

이 카테고리의 문서

• 개요: PyTorch AMP 레시피 — 자동 혼합 정밀도 적용법
• 핵심 기능: PyTorch amp 문서 — autocast와 GradScaler
• 실전·API: Hugging Face — GPU 단일 학습 성능 가이드

출처: https://pytorch.org/tutorials/recipes/recipes/amp_recipe.html