Aleph Alpha 임베딩

Aleph Alpha 임베딩

Aleph Alpha의 luminous-base 모델을 LlamaIndex에서 사용하는 예시예요. representation 값에 따라 문서·쿼리·대칭 임베딩을 만드는 방법을 보여줘요.

출처: 문서

본문

colab에서 이 노트북을 열고 있다면 LlamaIndex 🦙를 설치해야 할 거예요.

%pip install llama-index-embeddings-alephalpha

!pip install llama-index

# AA 토큰으로 초기화
import os


os.environ["AA_TOKEN"] = "your_token_here"

luminous-base 임베딩 사용.

  • representation="Document": 벡터 데이터베이스에 저장할 텍스트(문서)에 사용해요.
  • representation="Query": 벡터 데이터베이스에서 가장 관련성 높은 문서를 찾는 검색 쿼리에 사용해요.
  • representation="Symmetric": 클러스터링, 분류, 이상 탐지 또는 시각화 작업에 사용해요.
from llama_index.embeddings.alephalpha import AlephAlphaEmbedding


# 토큰을 커스터마이즈하려면 이렇게
# 그렇지 않으면 환경 변수에서 AA_TOKEN을 찾아요.
# embed_model = AlephAlpha(token="<aa_token>")


# representation='query' 와 함께
embed_model = AlephAlphaEmbedding(
    model="luminous-base",
    representation="Query",
)


embeddings = embed_model.get_text_embedding("Hello Aleph Alpha!")


print(len(embeddings))
print(embeddings[:5])

representation_enum: SemanticRepresentation.Query




5120
[0.14257812, 2.59375, 0.33203125, -0.33789062, -0.94140625]

# representation='Document' 와 함께
embed_model = AlephAlphaEmbedding(
    model="luminous-base",
    representation="Document",
)


embeddings = embed_model.get_text_embedding("Hello Aleph Alpha!")


print(len(embeddings))
print(embeddings[:5])

representation_enum: SemanticRepresentation.Document




5120
[0.14257812, 2.59375, 0.33203125, -0.33789062, -0.94140625]