Phi-4-mini — 3.8B 경량 모델
Phi-4-mini — 3.8B 경량 모델
Phi-4-mini-instruct는 Phi-4 가족의 3.8B 경량 모델이에요. 합성 데이터와 필터링된 공개 웹을 기반으로, 고품질·추론 밀집 데이터에 초점을 맞춰 훈련했어요. 128K 토큰 컨텍스트를 지원해요.
주요 스펙
- 아키텍처: 3.8B 파라미터, dense decoder-only Transformer
- 컨텍스트 길이: 128K 토큰
- GPU: 512 A100-80G, 훈련 21일, 훈련 데이터 5T 토큰
- 보캐블러리: 최대 200,064 토큰 (GQA, 공유 입·출력 임베딩)
- 훈련 기간: 2024년 11월~12월
사용 용도
메모리·연산이 제한된 환경, 레이턴시가 중요한 시나리오, 그리고 **강한 추론(특히 수학·논리)**이 필요한 작업에 적합해요. 다국어 상업·연구 사용을 폭넓게 지원하는 것이 목표예요.
vLLM 예제
from vllm import LLM, SamplingParams
llm = LLM(model="microsoft/Phi-4-mini-instruct", trust_remote_code=True)
messages = [
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
]
도구 기반 함수 호출 포맷
<|system|> 외에 <|tool|> 태그로 도구를 정의해 함수 호출도 지원해요. 기본적으로 flash attention을 사용하므로 A100·A6000·H100 같은 특정 GPU가 필요해요.