CreateVertexAIEmbeddings 프로세서

이 문서는 Snowflake OpenFlow의 CreateVertexAIEmbeddings 프로세서에 대한 참조 문서예요. VertexAI를 사용해 텍스트에 대한 임베딩(embedding)을 생성해요.

출처: Snowflake 문서

본문

기능 — 일반 제공 (Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요.

Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.

번들 (Bundle)

그룹	NAR
com.snowflake.openflow.runtime	runtime-vertexai-nar

설명 (Description)

VertexAI를 사용해 텍스트에 대한 임베딩을 생성해요. 입력 텍스트는 단일 FlowFile로 제공하거나 레코드 지향 FlowFile로 제공할 수 있어요.

태그 (Tags)

chatbot, cloud, embeddings, gcp, gen ai, generative ai, google, llm, nlp, openflow, text, vertex

입력 요구사항 (Input Requirement)

(명시되지 않음)

민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)

아니요 (false)

속성 (Properties)

속성	설명
Auto Truncate	false로 설정하면 토큰 한도를 초과하는 텍스트로 인해 요청이 실패해요.
Embeddings Model	임베딩에 사용할 모델이에요. 사용 가능한 모델은 https://cloud.google.com/vertex-ai/generative-ai/docs/learn/models#models 에 나열돼 있어요.
Embeddings Record Path	임베딩이 기록될 레코드의 필드 경로예요.
GCP Credentials Service	Google Cloud Platform 자격 증명을 얻는 데 사용하는 Controller Service예요.
GCP Location	Vertex 클라이언트를 구성할 location이에요.
GCP Project ID	Vertex 클라이언트를 구성할 project ID예요.
Max Batch Size	VertexAI로 보내는 각 배치에 포함할 최대 레코드 수예요.
Model Publisher	모델의 게시자(publisher)예요.
Output Dimensionality	출력 임베딩 크기를 지정하는 데 사용해요. 설정하면 출력 임베딩이 지정된 크기로 잘려요.
Record Reader	레코드 지향 데이터를 읽는 데 사용할 record reader예요. 들어오는 데이터를 일반 텍스트로 취급하려면 이 속성을 비워 두어야 해요.
Record Writer	출력을 쓰는 데 사용할 Record Writer예요.
Task Type	임베딩의 의도된 하위 애플리케이션 용도를 전달해 모델이 특정 목적에 맞게 임베딩을 조정하도록 하는 데 사용해요.
Text Record Path	임베딩할 텍스트가 포함된 레코드의 필드 경로예요. 들어오는 데이터를 일반 텍스트로 취급하려면 이 속성을 비워 두어야 해요.
User	요청이 대신 수행되는 원격 사용자의 식별자예요.

관계 (Relationships)

이름	설명
failure	임베딩을 만들 수 없으면 원래 FlowFile이 이 관계로 라우팅돼요.
success	임베딩이 이 관계로 라우팅돼요.

기록하는 속성 (Writes attributes)

이름	설명
record.count	출력에 기록된 레코드 수예요.
mime.type	선택된 Record Writer에 따른 출력 데이터의 MIME type이에요.

사용 사례 (Use cases)

VertexAI의 Embedding 모델을 사용해 텍스트에 대한 임베딩 생성

CreateVertexAIEmbeddings 프로세서