Falcon 2 출시 소식

Falcon 2 출시 소식

Falcon 시리즈의 2세대인 Falcon 2 는 "작은 모델로 더 나은 성능과 멀티모달 지원"을 목표로 나왔어요. 오픈소스 커뮤니티에 더 저렴한 추론과 손쉬운 다운스트림 개발을 제공하기 위한 움직임이었죠.

출처: https://github.com/huggingface/blog/blob/main/falcon2-11b.md

두 모델 구성

Falcon 2 는 크게 두 가지로 공개됐어요.

  • Falcon2-11B: 11B 파라미터 사전학습 언어 모델
  • Falcon-11B-VLM: Falcon2-11B 기반으로 만든 비전-언어 모델

4단계 훈련 전략

컨텍스트 길이를 단계적으로 늘리면서 성능을 키운 게 특징이에요.

  1. 2048 → 2. 4096 → 3. 8192 토큰으로 컨텍스트 확장
  2. 마지막 단계에서 고품질 데이터만으로 성능 극대화

데이터 소스는 RefinedWeb-English, RefinedWeb-Europe(11개 언어), 고품질 기술·코드·대화 데이터 등이에요.

벤치마크

Open LLM Leaderboard 기준으로 Falcon2-11B 는 Llama3-8B(3배 많은 데이터로 훈련)와 Mistral-7B 보다 좋고, Gemma-7B 와 비슷한 성능을 보여줬어요.

더 알아보기