Microsoft Phi (소형 언어 모델)

Phi는 Microsoft가 만든 소형 언어 모델(Small Language Model, SLM) 패밀리예요. 작은 크기로도 비슷하거나 더 큰 모델을 뛰어넘는 성능을 내도록 설계된 게 특징이에요. 고성능이면서 비용 효율이 높아, 로컬 배포와 비용 절감이 필요한 환경에서 주목받아요.

Phi는 2023년 Phi-1, Phi-1.5, Phi-2로 시작해, 2024년에는 Phi-3 시리즈가 나왔어요. Phi-3 기술 보고서("A Highly Capable Language Model Locally on Your Phone")에서 소개된 phi-3-mini는 38억 파라미터로 3.3조 토큰으로 훈련됐는데, Mixtral 8x7B, GPT-3.5 같은 모델과 견줄 만한 성능을 내면서도 휴대폰에 배포될 정도로 작아요. 이어서 멀티링궐과 MoE 구조를 갖춘 Phi-3.5 시리즈도 나왔어요.

핵심 개념

SLM(Small Language Model) — 작은 크기로 비용 효율적
고품질 훈련 데이터 — 강하게 필터링된 웹 데이터 + 합성 데이터
다양한 변형 — mini·small·medium·vision·MoE
훙페이에서 개방 — microsoft/Phi-* 계열

이 카테고리의 문서

개요: Phi SLM 패밀리와 훈련 방식
모델 변형: Phi-3·Phi-3.5 제품군과 사양
사용법: transformers로 로드·실행

출처: https://huggingface.co/docs/transformers/en/model_doc/phi3