논문 (Task LoRA와 Matryoshka)
논문 (Task LoRA와 Matryoshka)
jina-embeddings-v3 논문 제목은 "jina-embeddings-v3: Multilingual Embeddings With Task LoRA" (arXiv:2409.10173, 2024)이에요. 저자는 Jina AI의 Saba Sturua, Mohammad Kalim Akram, Michael Günther 등이에요.
핵심 기여
- Task LoRA: 태스크별로 별도의 전체 모델을 두지 않고, 작은 LoRA 어댑터를 골라 태스크 전용 임베딩을 만들어요. 효율적이면서 성능을 유지해요.
- Matryoshka 표현: 임베딩을 작은 차원으로 잘라낼 수 있어 저장·속도를 유연하게 조절해요.
- 멀티링궐: 100개 언어 기반에 30개 언어를 집중 튜닝했어요.
매개변수
- 모델 크기: 0.6B 파라미터
- 텐서 타입: BF16
- 아키텍처: Jina-XLM-RoBERTa