Phi-3-mini-128k — 긴 컨텍스트 변형
Phi-3-mini-128k — 긴 컨텍스트 변형
Phi-3-Mini-128K-Instruct는 3.8B 파라미터의 128K 토큰 컨텍스트를 지원하는 Phi-3 Mini 변형이에요. 같은 Phi-3 데이터셋으로 훈련하고, 그 뒤 지도 파인튜닝과 직접 선호 최적화로 명령 따르기와 안전 지침을 강화한 모델이죠.
원래 Phi-3-mini 릴리스에 대한 고객 피드백을 반영한 업데이트 버전이에요. 추가 포스트트레이닝 데이터를 넣어서 긴 컨텍스트 이해, 명령 따르기, 구조화 출력에서 큰 개선을 얻었어요. 멀티턴 대화 품질도 좋아졌고, <|system|> 태그도 명시적으로 지원해요.
개선된 점
- 긴 컨텍스트 이해(long-context understanding)와 구조화 출력(structured output) 개선
- 명령 따르기(instruction following)와 추론(reasoning) 능력 강화
- 멀티턴 대화 품질 향상
13B 미만 파라미터 모델들을 대상으로 한 상식·언어 이해·수학·코딩·장기 컨텍스트·논리 추론 벤치마크에서 최상위 수준의 성능을 보여줬어요.