BERT — 양방향 트랜스포머 언어 모델
BERT
BERT(Bidirectional Encoder Representations from Transformers)는 2018년 Google AI Language 팀이 공개한 언어 표현 모델이에요. 모든 레이어에서 왼쪽·오른쪽 컨텍스트를 동시에 조건으로 삼아, 라벨 없는 텍스트에서 깊이 양방향 표현을 사전훈련하는 것이 핵심이에요. 사전훈련된 BERT에 출력 레이어 하나만 얹으면 질의응답·언어 추론 같은 다양한 작업의 최신 모델을 만들 수 있어요. NLP 전이 학습의 지형을 바꾼 모델이라 할 수 있어요.
이 카테고리의 문서
- 개요·원리: BERT가 푸는 문제와 사전훈련
- 학습 방법: MLM과 NSP
- Transformers 사용: 허깅페이스에서 쓰기