CreateOpenAiEmbeddings 프로세서

CreateOpenAiEmbeddings 프로세서

이 문서는 Snowflake OpenFlow의 CreateOpenAiEmbeddings 프로세서에 대한 참조 문서예요. OpenAI를 사용해 텍스트에 대한 임베딩(embedding)을 생성해요.

출처: Snowflake 문서

본문

기능 — 일반 제공 (Generally Available)

Openflow Snowflake 배포는 AWS, Azure, GCP Commercial 리전의 모든 계정에서 사용할 수 있어요.

Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.

번들 (Bundle)

그룹 NAR
com.snowflake.openflow.runtime runtime-openai-nar

설명 (Description)

OpenAI를 사용해 텍스트에 대한 임베딩을 생성해요. 입력 텍스트는 단일 FlowFile로 제공하거나 레코드 지향 FlowFile로 제공할 수 있어요.

태그 (Tags)

chatbot, embeddings, gen ai, generative ai, llm, nlp, openai, openflow, text

입력 요구사항 (Input Requirement)

(명시되지 않음)

민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)

아니요 (false)

속성 (Properties)

속성 설명
Dimensions 결과 출력 임베딩이 가지도록 요청할 차원 수예요. text-embedding-3 이상 모델에서만 지원돼요.
Embeddings Model 임베딩에 사용할 모델이에요.
Embeddings Record Path 임베딩이 기록될 레코드의 필드 경로예요.
Max Batch Size OpenAI로 보내는 각 배치에 포함할 최대 레코드 수예요.
OpenAI API Key OpenAI에 인증하기 위한 API Key예요.
OpenAI Organization OpenAI에 사용할 organization이에요.
Record Reader 레코드 지향 데이터를 읽는 데 사용할 record reader예요. 들어오는 데이터를 일반 텍스트로 취급하려면 이 속성을 비워 두어야 해요.
Record Writer 출력을 쓰는 데 사용할 Record Writer예요.
Text Record Path 임베딩할 텍스트가 포함된 레코드의 필드 경로예요. 들어오는 데이터를 일반 텍스트로 취급하려면 이 속성을 비워 두어야 해요.
User 요청이 대신 수행되는 원격 사용자의 식별자예요. OpenAI는 이를 사용해 악용을 감지하고 방지해요.
Web Client Service OpenAI와 통신하는 데 사용할 Web Client Service예요.

관계 (Relationships)

이름 설명
failure 임베딩을 만들 수 없으면 원래 FlowFile이 이 관계로 라우팅돼요.
success 임베딩이 이 관계로 라우팅돼요.

기록하는 속성 (Writes attributes)

이름 설명
record.count 출력에 기록된 레코드 수예요.
mime.type 선택된 Record Writer에 따른 출력 데이터의 MIME type이에요.

사용 사례 (Use cases)

  • OpenAI의 Embeddings를 사용해 텍스트에 대한 임베딩 생성

참고 (See also)

  • com.snowflake.openflow.runtime.processors.openai.CreateAzureOpenAiEmbeddings
  • com.snowflake.openflow.runtime.processors.openai.PromptOpenAI

더 알아보기 (Learn more)