Phi-3 모델 제품군 개요 — SLM의 등장
Phi-3 모델 제품군 개요
Phi-3는 '작은 모델이면서도 상태 최고 수준(state-of-the-art)'을 목표로 만든 마이크로소프트의 개방형 모델 제품군이에요. Phi-3 데이터셋으로 훈련했는데, 여기에는 고품질·추론 밀집(reasoning-dense) 성질에 초점을 둔 합성 데이터와 필터링된 공개 웹 데이터가 함께 담겨 있어요.
Phi-3 제품군은 크기별로 Mini / Small / Medium으로 나뉘어요. Mini는 3.8B 파라미터, Medium은 14B 파라미터 규모예요. 각 모델은 4K와 128K 두 가지 컨텍스트 변형으로 제공되는데, 이름의 숫자가 곧 지원하는 컨텍스트 길이(토큰 수)예요.
Mini 모델의 구조
- 아키텍처: Phi-3 Mini-4K-Instruct는 3.8B 파라미터의 조밀한 디코더-온리 Transformer예요.
- 정렬: 지도 파인튜닝(SFT)과 직접 선호 최적화(DPO)로 사람 선호와 안전 지침에 정렬했어요.
- 컨텍스트 길이: 4K 토큰
- 훈련: 512대의 H100-80G GPU에서 10일, 총 4.9T 토큰으로 훈련했어요.
- 입력: 텍스트. 채팅 형식 프롬프트에 가장 적합해요.
언제 이 모델을 쓰나요
메모리·연산이 제한된 환경, 레이턴시가 중요한 시나리오, 그리고 코드·수학·논리 같은 강한 추론이 필요한 작업에서 특히 유리해요. 연구와 모달리티 모델의 빌딩 블록으로도 널리 쓰여요.