UpsertPinecone 프로세서
UpsertPinecone 프로세서
Openflow의 UpsertPinecone 프로세서는 벡터와 메타데이터를 Pinecone 인덱스에 게시하는 데 사용합니다. 이 문서에서 프로세서의 번들, 설명, 속성, 관계 등을 확인할 수 있습니다.
출처: Snowflake 문서
본문
번들 (Bundle)
com.snowflake.openflow.runtime | runtime-pinecone-nar
설명 (Description)
메타데이터를 포함한 벡터와 선택적으로 텍스트를 Pinecone 인덱스에 게시합니다.
태그 (Tags)
chatbot, embeddings, gen ai, genai, generative ai, llm, metadata, openflow, pinecone, publish, text, upsert, vector
입력 요구사항 (Input Requirement)
REQUIRED
민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)
false
속성 (Properties)
| 속성 (Property) | 설명 (Description) |
|---|---|
| ID Record Path | 레코드에서 ID 필드로 가는 경로입니다. |
| Max Batch Size | FlowFile의 Record 수가 많으면 Pinecone에 대한 단일 요청을 생성하는 것이 상당한 NiFi 힙을 소모할 수 있습니다. 이를 피하기 위해 Max Batch Size는 단일 요청으로 보낼 Record 수를 제한할 수 있습니다. Record 수가 이 값을 초과하면 Pinecone에 여러 요청이 전송됩니다. |
| Metadata Record Path | 레코드에서 메타데이터 필드로 가는 경로입니다. |
| Pinecone API Key | Pinecone 서비스의 API 키입니다. |
| Pinecone Index | 사용할 Pinecone 인덱스의 이름입니다. |
| Pinecone Namespace | 사용할 Pinecone 네임스페이스의 이름입니다. |
| Record Reader | FlowFile을 읽는 데 사용할 Record Reader입니다. |
| Sparse Vector Indices Path | Sparse Vectors를 제공하는 경우 이 RecordPath는 사용할 희소 데이터의 인덱스를 가리킵니다. |
| Sparse Vector Values Path | Sparse Vectors를 제공하는 경우 이 RecordPath는 사용할 희소 데이터의 값을 가리킵니다. |
| Text Field Name | 벡터와 연결된 텍스트를 저장하기 위해 메타데이터에서 사용할 필드 이름입니다. |
| Text Record Path | 벡터와 연결된 텍스트가 들어 있는 레코드의 필드 경로입니다. 지정하면 Pinecone에 게시할 때 텍스트가 메타데이터에 삽입됩니다. 지정하지 않으면 텍스트가 Pinecone으로 전송되지 않습니다. |
| Vector Record Path | 레코드에서 벡터 필드로 가는 경로입니다. |
| Web Client Service | Pinecone과 통신하는 데 사용할 Web Client Service입니다. |
관계 (Relationships)
| 이름 (Name) | 설명 (Description) |
|---|---|
| failure | Pinecone으로 보낼 수 없고 재시도가 성공할 것으로 기대되지 않는 FlowFile이 이 관계로 라우팅됩니다. |
| retry | Pinecone으로 보내는 데 실패했지만 재시도가 도움이 될 수 있는 FlowFile이 이 관계로 라우팅됩니다. |
| success | Pinecone으로 성공적으로 전송된 FlowFile이 이 관계로 라우팅됩니다. |
사용 사례 (Use cases)
- OpenAI의 embeddings 모델을 사용하여 원시 텍스트 데이터나 Record 필드(예: JSON)에 존재하는 텍스트에 대한 임베딩을 만들고 벡터를 Pinecone에 게시합니다.
- 문서에 대한 임베딩을 Pinecone 인덱스에 추가하여, 문서에 이미 존재하는 임베딩을 교체합니다.
함께 보기 (See also)
com.snowflake.openflow.runtime.processors.openai.CreateOpenAiEmbeddingscom.snowflake.openflow.runtime.processors.pinecone.DeletePinecone