micrograd — 100줄로 이해하는 역전파 엔진
micrograd
처음 딥러닝을 배울 때 자동 미분(autograd)이 어떻게 동작하는지 막막할 때가 많아요. 그래서 Andrej Karpathy가 만든 micrograd는 역전파의 핵심만 남긴 초소형 라이브러리예요. 자동 미분 엔진과 그 위에 쌓은 작은 신경망 라이브러리를 합쳐 대략 100줄과 50줄로 구현했고, 수학 연산 하나하나를 노드로 쪼개 그 위에서 그래디언트를 계산해요. 스칼라 값만 다루지만, 이진 분류를 하는 전체 신경망을 만드는 데는 충분하죠. 교육용으로 제격이에요.
이 카테고리의 문서
- 소개: 역전파와 동적 DAG로 동작하는 원리
- 바로 쓰기:
Value와nn으로 미니 신경망 돌리기 - microGPT: 역전파와 GPT의 정수를 한 파일로 보기