Attention Mechanisms — 어텐션이 모델의 '집중력'을 만든다

Attention Mechanisms

LLM의 모든 시퀀스 처리는 '어느 토큰에 집중할까'라는 질문 위에 서 있어요. Attention Mechanisms(어텐션 메커니즘) 은 쿼리-키-값(Query-Key-Value) 구조로 토큰 간 관계를 계산해, 각 위치가 다른 위치에서 얼마나 정보를 끌어올지 가중치로 표현해요. PyTorch는 그 구현체를 기준 형태와 융합 커널까지 제공해요.

이 카테고리의 문서

• 개요: MultiheadAttention — Attention Is All You Need의 멀티헤드 구현
• 핵심 기능: scaled_dot_product_attention — 융합(SDPA)이라 더 빠르고 메모리 효율적
• 실전·API: SDPA 실전 — 고성능 Transformer를 직접 만들기

출처: https://docs.pytorch.org/docs/stable/generated/torch.nn.MultiheadAttention.html