Clarifai 임베딩

Clarifai 임베딩

Clarifai의 임베딩 모델을 LlamaIndex에서 사용하는 예시예요. Clarifai 계정과 PAT(Personal Access Token)가 필요하고, 모델 URL이나 모델명·사용자 ID·앱 ID 조합으로 임베딩 모델을 만들 수 있어요.

출처: 문서

본문

LlamaIndex는 Clarifai 임베딩 모델을 지원해요.

Clarifai 계정과 PAT(Personal Access Token) 키가 필요해요. PAT를 얻거나 만들려면 여기를 확인해 주세요.

CLARIFAI_PAT를 환경 변수로 설정하거나, PAT를 ClarifaiEmbedding 클래스의 인자로 전달할 수 있어요.

%pip install llama-index-embeddings-clarifai

!export CLARIFAI_PAT=YOUR_KEY

colab에서 이 노트북을 열고 있다면 LlamaIndex 🦙를 설치해야 할 거예요.

!pip install llama-index

모델은 전체 URL 또는 model_name, 사용자 ID, 앱 ID 조합으로 참조할 수 있어요.

from llama_index.embeddings.clarifai import ClarifaiEmbedding


# CLARIFAI_PAT가 환경 변수로 설정돼 있다고 가정하고, model_url만으로 clarifai 임베딩 클래스 만들기
embed_model = ClarifaiEmbedding(
    model_url="https://clarifai.com/clarifai/main/models/BAAI-bge-base-en"
)


# 또는 model_name, user_id, app_id, pat로도 클래스를 초기화할 수 있어요.
embed_model = ClarifaiEmbedding(
    model_name="BAAI-bge-base-en",
    user_id="clarifai",
    app_id="main",
    pat=CLARIFAI_PAT,
)

embeddings = embed_model.get_text_embedding("Hello World!")
print(len(embeddings))
print(embeddings[:5])

텍스트 목록을 임베딩해요.

text = "roses are red violets are blue."
text2 = "Make hay while the sun shines."

embeddings = embed_model._get_text_embeddings([text2, text])
print(len(embeddings))
print(embeddings[0][:5])
print(embeddings[1][:5])