BERT 개요 — 양방향 사전훈련
BERT 개요
문장의 앞뒤 맥락을 모두 봐야 단어의 의미를 제대로 잡을 수 있어요. BERT는 바로 그 '양방향'을 모든 레이어에서 실현한 모델이에요. 기존 언어 표현 모델들과 달리, 라벨 없는 텍스트에서 왼쪽과 오른쪽 컨텍스트를 동시에 조건으로 삼아 깊은 양방향 표현을 사전훈련해요.
무엇을 가능하게 하나요
사전훈련된 BERT는 출력 레이어 하나만 더 얹으면(fine-tuning) 되도록 설계됐어요. 작업별로 아키텍처를 크게 바꿀 필요 없이, 질의응답·언어 추론 등 다양한 작업의 state-of-the-art 모델을 만들 수 있죠.
실증적 성능
BERT는 개념적으로 단순하면서도 11개 NLP 작업에서 최신 결과를 달성했어요.
- GLUE 점수 80.5% (절대 7.7%p 개선)
- MultiNLI 정확도 86.7% (절대 4.6%p 개선)
- SQuAD v1.1 질의응답 Test F1 93.2 (절대 1.5p 개선)
- SQuAD v2.0 Test F1 83.1 (절대 5.1p 개선)
BERT = Bidirectional Encoder Representations from Transformers
BERT가 두 가지 사전훈련 목표를 함께 쓰는 것(Masked Language Model + Next Sentence Prediction)이 이 성과의 바탕이에요. 자세한 학습 원리는 'BERT 학습 방법' 페이지에서 볼게요.