Oracle Cloud Infrastructure

Oracle Cloud Infrastructure (OCI) Data Science 서비스

Oracle Cloud Infrastructure (OCI) Data Science는 데이터 과학 팀이 Oracle Cloud Infrastructure에서 머신러닝 모델을 구축, 훈련, 관리할 수 있게 해주는 완전 관리형 서버리스 플랫폼이에요.

OCI Data Science에서 임베딩 모델을 배포하는 데 사용할 수 있는 AI Quick Actions을 제공해요. AI Quick Actions는 AI 기능을 빠르게 활용하려는 사용자를 대상으로 해요. 기반모델(foundation model)을 보다 광범위한 사용자에게 확산시키기 위해 코드 없이 효율적으로 기반모델을 다룰 수 있는 간소화된 환경을 제공하는 게 목표예요. AI Quick Actions는 Data Science Notebook에서 접근할 수 있어요.

AI Quick Actions로 OCI Data Science에 임베딩 모델을 배포하는 자세한 문서는 여기와 여기에서 볼 수 있어요.

이 노트북은 LlamaIndex에서 OCI의 Data Science 임베딩 모델을 사용하는 방법을 설명해요.

출처: 문서

본문

설정 (Setup)

Colab에서 이 노트북을 여는 경우라면 LlamaIndex 🦙 설치가 필요할 거예요.

%pip install llama-index-embeddings-oci-data-science

!pip install llama-index

또한 oracle-ads SDK도 설치해야 해요.

!pip install -U oracle-ads

인증 (Authentication)

LlamaIndex에서 지원하는 인증 방식은 다른 OCI 서비스에서 사용하는 방식과 동일하며, 표준 SDK 인증 방식인 API Key, session token, instance principal, resource principal을 따르세요. 자세한 내용은 여기에서 확인할 수 있어요. OCI Data Science Model Deployment 엔드포인트에 접근하려면 필요한 정책(policies)을 갖추어야 해요. oracle-ads는 OCI Data Science 내 인증을 단순화하는 데 도움을 줘요.

기본 사용법 (Basic Usage)

import ads
from llama_index.embeddings.oci_data_science import OCIDataScienceEmbedding


ads.set_auth(auth="security_token", profile="<replace-with-your-profile>")


embedding = OCIDataScienceEmbedding(
    endpoint="https://<MD_OCID>/predict",
)




e1 = embeddings.get_text_embedding("This is a test document")
print(e1)


e2 = embeddings.get_text_embedding_batch(
    ["This is a test document", "This is another test document"]
)
print(e2)

비동기 (Async)

import ads
from llama_index.embeddings.oci_data_science import OCIDataScienceEmbedding


ads.set_auth(auth="security_token", profile="<replace-with-your-profile>")


embedding = OCIDataScienceEmbedding(
    endpoint="https://<MD_OCID>/predict",
)


e1 = await embeddings.aget_text_embedding("This is a test document")
print(e1)


e2 = await embeddings.aget_text_embedding_batch(
    ["This is a test document", "This is another test document"]
)
print(e2)

Oracle Cloud Infrastructure