Llama 3.1 8B 모델 카드

Llama 3.1 8B 모델 카드

가벼운 모델이 필요한데 성능도 놓치고 싶지 않다면 Llama 3.1 8B 를 먼저 봐요. 리소스가 제한된 환경에서도 돌릴 수 있는 크기면서, 다국어와 도구 사용을 지원해요.

출처: https://huggingface.co/meta-llama/Llama-3.1-8B

모델 정보

Llama 3.1 컬렉션은 8B, 70B, 405B 세 가지 크기의 프리트레인·인스트럭트 모델로 구성돼요. 8B 는 텍스트 인/텍스트 아웃 모델이고, 대화·다국어 사용에 최적화되어 있어요.

  • 파라미터: 8B
  • 컨텍스트: 128K
  • 유형: 다국어 대화 LLM(text in / text out)
  • 라이선스: Llama Community License (Hugging Face 에서 승인 후 다운로드)

어떻게 쓰나요

Hugging Face 에서 meta-llama/Llama-3.1-8B-Instruct 체크포인트를 받아 transformers 나 vLLM 으로 불러오면 돼요. 다만 Meta 의 게이티드 라이선스 때문에 접근 권한 승인 절차가 있어요.

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")

어떤 작업에 좋을까요

요약, 분류, 감성 분석, 번역처럼 저지연 추론이 필요한 작업에 잘 맞아요. 70B·405B 는 더 어려운 추론·코딩이 필요할 때 선택하면 돼요.

더 알아보기