T5 개요 — 하나의 프레임워크로 모든 NLP
T5 개요
NLP 작업마다 아키텍처와 파이프라인이 제각각이면, 실험과 전이는 복잡해져요. T5는 이 문제를 모든 텍스트 기반 언어 문제를 text-to-text 형식으로 변환하는 통일 프레임워크로 풀었어요. "어떤 입력 텍스트 → 어떤 출력 텍스트"라는 하나의 형식으로 번역·요약·질의응답·분류를 모두 표현하는 거죠.
이 논문이 한 일
본 논문("Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer")은 NLP에서의 전이 학습 지형을 체계적으로 탐색했어요.
- 사전훈련 목표, 아키텍처, 라벨 없는 데이터셋, 전이 접근법 등을 수십 개 언어 이해 작업에서 비교
- 탐색 결과와 스케일, 그리고 새로 공개한 Colossal Clean Crawled Corpus(C4) 를 결합해 요약·질의응답·텍스트 분류 등 여러 벤치마크에서 최신 결과 달성
- 데이터셋·사전훈련 모델·코드까지 공개해 후속 연구를 촉진
왜 중요한가요
하나의 프레임워크로 다양한 작업을 다루니, 모델 하나를 사전훈련하고 작업별 프롬프트(prefix)만 바꿔 파인튜닝하는 전이 학습이 훨씬 단순해져요.