Vicuna — 오픈소스 챗봇
Vicuna — 오픈소스 챗봇
Vicuna는 LMSYS가 ShareGPT에 수집된 사용자 공유 대화를 LLaMA에 파인튜닝해서 만든 오픈소스 챗봇이에요. GPT-4를 심판으로 한 예비 평가에서 ChatGPT 품질의 90% 이상을 달성한 것으로 알려져 화제가 됐죠. Vicuna-13B 훈련 비용은 약 $300이에요.
출처: Vicuna 발표 블로그
어떻게 만들었나
약 70K 개의 사용자 공유 ChatGPT 대화(ShareGPT.com)를 수집해 LLaMA 기본 모델에 파인튜닝했어요. Stanford Alpaca 레시피를 개선해 다음을 적용했죠.
- 멀티턴 대화: 훈련 손실을 챗봇 출력에만 계산
- 메모리 최적화: 컨텍스트 길이를 Alpaca의 512에서 2048로 확장, gradient checkpointing과 flash attention 사용
- 비용 절감: SkyPilot managed spot으로 7B 훈련 비용을 $500 → 약 $140, 13B를 약 $1K → $300으로 단축
훈련은 8대의 A100 GPU에서 PyTorch FSDP로 하루 만에 완료했어요.
평가 방식
여덟 개 질문 카테고리(페르미 문제, 롤플레이, 코딩/수학 등)로 나눈 80개 질문에 대해 GPT-4가 응답 품질을 채점했어요. 총점 측면에서 Vicuna는 ChatGPT의 92%를 기록했고, 오픈소스 모델(LLaMA, Alpaca)보다 90% 이상의 질문에서 우위를 보였어요.
주의: 이 평가는 GPT-4를 심판으로 한 '재미있고 비과학적인' 방식이에요. 더 엄격한 평가가 필요하다는 것을 블로그도 명시하고 있어요.
관련 모델 버전
이후 FastChat을 통해 Vicuna v1.5(Llama 2 기반, 4K/16K 컨텍스트), LongChat v1.5(32K 컨텍스트), MT-bench 같은 평가 도구도 공개됐어요.