Falcon (TII 오픈 LLM)
Falcon (TII 오픈 LLM)
Falcon은 **TII(Technology Innovation Institute)**가 만든 오픈 가중치 LLM 패밀리예요. TII는 UAE 아부다비의 고급 기술 연구 위원회(ATRC) 산하 정부 지원 연구 기관이에요. Falcon은 특히 아랍어 NLP에서 선도적인 오픈소스 옵션이에요.
Falcon은 causal decoder-only 모델 계열로, RefinedWeb 코퍼스를 중심으로 한 대규모 데이터로 훈련됐어요. 다중 쿼리 어텐션(multi-query attention)과 FlashAttention 같은 추론에 최적화된 아키텍처를 채택해 추론이 효율적이에요. 최신 Falcon 3 시리즈는 14조 토큰으로 훈련되고 32K 컨텍스트를 지원해요.
핵심 개념
- 오픈 가중치 — TII가 Apache 2.0/Falcon 라이선스로 공개
- causal decoder-only — 다음 토큰 예측 언어 모델링
- 추론 최적화 아키텍처 — multi-query attention, FlashAttention
- RefinedWeb 기반 훈련 — 대규모 큐레이션된 웹 코퍼스
이 카테고리의 문서
- 개요: Falcon 시리즈와 훈련 방식
- 모델 변형: 7B·40B·180B·11B·Falcon 3
- 사용법: transformers로 로드·실행