Text Embedding Inference

이 노트북은 TextEmbeddingInference 임베딩을 구성하는 방법을 보여드려요.

첫 단계는 임베딩 서버를 배포하는 거예요. 자세한 지침은 Text Embeddings Inference 공식 저장소를 참고하세요. Habana Gaudi/Gaudi 2에 배포하는 경우라면 tei-gaudi 저장소를 참고하세요.

배포가 끝나면 아래 코드가 연결되어 추론을 위해 임베딩을 제출해요.

Colab에서 이 노트북을 여는 경우라면 LlamaIndex 🦙 설치가 필요할 거예요.

%pip install llama-index-embeddings-text-embeddings-inference

!pip install llama-index

from llama_index.embeddings.text_embeddings_inference import (
    TextEmbeddingsInference,
)




embed_model = TextEmbeddingsInference(
    model_name="BAAI/bge-large-en-v1.5",  # required for formatting inference text,
    timeout=60,  # timeout in seconds
    embed_batch_size=10,  # batch size for embedding
)

embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]

embeddings = await embed_model.aget_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

1024
[0.010597229, 0.05895996, 0.022445679, -0.012046814, -0.03164673]

출처: 문서