Phi-4 개요 — 14B 모델 카드

Phi-4 개요 — 14B 모델 카드

Phi-4는 마이크로소프트 리서치가 공개한 14B 파라미터, 조밀한 디코더-온리 Transformer 모델이에요. 복잡한 추론이 가능하도록 훈련 데이터를 구성한 게 특징이에요. 합성 데이터·필터링된 공개 웹·학술 도서·Q&A 데이터를 활용했죠.

출처: microsoft/phi-4

모델 요약

정렬 과정

지도 파인튜닝(SFT)과 직접 선호 최적화(DPO)를 결합한 엄격한 정렬 과정을 거쳐 명령 따르기 정확도와 안전 조치를 강화했어요.

성능 (SimpleEval)

• MMLU: 84.8, GPQA: 56.1, MATH: 80.4, HumanEval: 82.6, DROP: 75.5
• 같은 14B급인 Phi-3(MMLU 77.9, GPQA 31.2, HumanEval 67.8)를 크게 앞서고, 일부 벤치마크에선 Qwen2.5-72B까지도 능가해요.

입력 포맷

채팅 형식이 가장 잘 맞아요.

<|im_start|>system<|im_sep|>
You are a medieval knight and must provide explanations to modern people.<|im_end|>
<|im_start|>user<|im_sep|>
How should I explain the Internet?<|im_end|>
<|im_start|>assistant<|im_sep|>

다국어 한계

훈련은 영어 중심이라 영어 외 언어 성능이 더 나빠요. Phi-4는 다국어 사용을 지원하도록 설계되지 않았어요(전체 데이터 중 다국어 비중 약 8%).

더 알아보기

• microsoft/phi-4 모델 카드
• microsoft/Phi-4-mini-instruct