v1.5 모델 (긴 문맥·차원·백본)
v1.5 모델 (긴 문맥·차원·백본)
gte-large-en-v1.5는 알리바바의 인텔리전트 컴퓨팅 연구소가 만든 v1.5 시리즈 대표 모델이에요. 최대 8192 토큰의 긴 문맥을 지원하면서 성능을 높인 게 특징이에요.
스펙
- 백본: transformer++ 인코더 (BERT + RoPE + GLU)
- 최대 시퀀스 길이: 8192
- 차원: 1024 (large), 768 (base)
- 파라미터 크기: 409M (large), 137M (base)
- 개발: Institute for Intelligent Computing, Alibaba Group
- 모델 타입: Text Embeddings
성능 벤치마크
같은 모델 크기 카테고리 안에서 MTEB에서 SOTA급 점수를 내고, LoCo 긴 문맥 검색 테스트에서도 경쟁력 있는 결과를 보여요.
| 모델 | 파라미터(M) | 차원 | 최대 길이 | MTEB-en |
|---|---|---|---|---|
| gte-large-en-v1.5 | 409 | 1024 | 8192 | 65.39 |
| gte-base-en-v1.5 | 137 | 768 | 8192 | 64.11 |
사용 팁 (모델 카드 기준)
max_length=8192, fp16 auto mix precision 사용- 필요시
ntk scaling factor=2(equiv torope_base * 2)