추천 모델 레지스트리 — 완성·채팅 모델 고르기

추천 모델 레지스트리 — 완성·채팅 모델 고르기

Tabby는 성능과 라이선스, 모델 크기 사이의 절충을 고민할 수 있도록 추천 모델 레지스트리를 제공해요. 코드 완성 모델과 채팅 모델을 각각 고르는 구조예요.

출처: https://tabby.tabbyml.com/docs/models/

코드 완성 모델(--model)을 고를 때 하드웨어 기준을 먼저 보면 돼요.

  • 1B~3B 모델: NVIDIA T4, 10시리즈, 20시리즈 GPU 또는 Apple Silicon(M1) 정도면 충분해요.
  • 7B~13B 모델: NVIDIA V100, A100, 30시리즈, 40시리즈 GPU를 권장해요.

완성 모델로는 DeepSeekCoder-1.3B·6.7B, CodeGemma-2B·7B, Codestral-22B, DeepSeek-Coder-V2-Lite 같은 것들이 있어요. 각각 DeepSeek License나 Gemma License 등 저마다 다른 라이선스가 붙어 있어서, 배포 전에 라이선스를 꼭 확인해야 해요.

채팅 모델(--chat-model)은 코드에 대해 대화하는 용도예요. Mistral-7B, Codestral-22B, Yi-Coder-9B-Chat 같은 모델을 쓸 수 있어요.

모델 선택은 품질·라이선스·크기의 절충이기 때문에, Tabby는 자체 리더보드(https://leaderboard.tabbyml.com)에 모델별 벤치마크를 공개해서 비교를 돕고 있어요. GPU가 작으면 1B3B 모델부터 시작하고, 성능이 더 필요해지면 7B13B로 올리는 식이면 됩니다.

더 알아보기