모델 변형 (Phi-3·Phi-3.5 제품군)
모델 변형 (Phi-3·Phi-3.5 제품군)
Phi 패밀리는 용도에 따라 여러 변형이 있어요. Phi-3 시리즈에는 mini·small·medium이 있고, 이어서 Phi-3.5 시리즈가 나왔어요.
Phi-3 시리즈
- phi-3-mini — 38억 파라미터. 3.3T 토큰으로 훈련, MMLU 69%
- phi-3-small — 70억 파라미터. 4.8T 토큰으로 훈련, MMLU 75%
- phi-3-medium — 140억 파라미터. 4.8T 토큰으로 훈련, MMLU 78%
- phi-3-vision — 이미지 이해·추론 지원
Phi-3.5 시리즈
2024년 8월 발표된 Phi-3.5는 세 가지 새 멤버로 구성돼요.
- Phi-3.5-mini — 3.8B 업데이트. 128K 컨텍스트 길이와 향상된 멀티링궐 지원. 32K 어휘를 쓰며, 다중 턴 대화 품질·추론 능력이 크게 향상
- Phi-3.5-vision — 다중 프레임 이미지 이해와 추론 향상, 단일 이미지 벤치마크 성능 개선
- Phi-3.5-MoE — Mixture-of-Experts 구조. 16개 전문가(각 3.8B), 총 42B 파라미터 중 2개 전문가로 6.6B 활성. 20개 이상 언어 지원
다국어 지원
Phi-3.5-mini는 아랍어, 중국어, 체코어, 덴마크어, 네덜란드어, 영어, 핀란드어, 프랑스어, 독일어, 히브리어, 헝가리어, 이탈리아어, 일본어, 한국어, 노르웨이어, 폴란드어, 포르투갈어, 러시아어, 스페인어, 스웨덴어, 태국어, 터키어, 우크라이나어를 지원해요. 리소스가 많은 언어에 최적화돼 있고, 저리소스 언어는 추가 파인튜닝 없이는 권장되지 않아요.