UpsertMilvus 프로세서
UpsertMilvus 프로세서
Openflow의 UpsertMilvus 프로세서는 컬렉션에 대해 Milvus 데이터베이스에 벡터를 upsert하는 데 사용합니다. 이 문서에서 프로세서의 번들, 설명, 속성, 관계 등을 확인할 수 있습니다.
출처: Snowflake 문서
본문
번들 (Bundle)
com.snowflake.openflow.runtime | runtime-milvus-processors-nar
설명 (Description)
주어진 컬렉션에 대해 Milvus 데이터베이스에 벡터를 upsert합니다.
태그 (Tags)
chatbot, embeddings, gen ai, genai, generative ai, insert, llm, metadata, milvus, openflow, publish, text, upsert, vector
입력 요구사항 (Input Requirement)
REQUIRED
민감한 동적 속성 지원 (Supports Sensitive Dynamic Properties)
false
속성 (Properties)
| 속성 (Property) | 설명 (Description) |
|---|---|
| Collection Name | 사용할 Milvus 컬렉션 이름입니다. |
| ID Field Name | 벡터의 ID를 저장하기 위해 Milvus에서 사용할 필드 이름입니다. 필드 이름과 함께 record path가 제공되지 않으면 ID가 파일 이름을 기준으로 문자열 형식으로 생성됩니다. |
| ID Record Path | 레코드에서 ID 필드로 가는 경로입니다. |
| Max Batch Size | FlowFile의 Record 수가 많으면 Milvus에 대한 단일 요청을 생성하는 것이 상당한 NiFi 힙을 소모할 수 있습니다. 이를 피하기 위해 Max Batch Size는 단일 요청으로 보낼 Record 수를 제한할 수 있습니다. |
| Metadata Field Name | 벡터와 연결된 기타 메타데이터를 저장하는 데 사용할 필드 이름입니다. 이 데이터는 유효한 JSON 형식이어야 합니다. |
| Metadata Record Path | 레코드에서 메타데이터 필드로 가는 경로입니다. |
| Milvus Connection Service | Milvus 데이터베이스에 접근하기 위한 Connection Service입니다. |
| Partition | 작업을 수행하려는 벡터 데이터베이스의 파티션입니다. 데이터베이스에 파티션이 하나뿐이면 비워 둡니다. |
| Record Reader | FlowFile을 읽는 데 사용할 Record Reader입니다. |
| Sparse Vector Field Name | 희소 벡터를 저장하는 데 사용할 필드 이름입니다. |
| Sparse Vector Indices Path | Sparse Vectors를 제공하는 경우 이 RecordPath는 사용할 희소 데이터의 인덱스를 가리킵니다. |
| Sparse Vector Values Path | Sparse Vectors를 제공하는 경우 이 RecordPath는 사용할 희소 데이터의 값을 가리킵니다. |
| Text Field Name | 벡터와 연결된 텍스트를 저장하기 위해 Milvus에서 사용할 필드 이름입니다. |
| Text Record Path | 벡터와 연결된 텍스트가 들어 있는 레코드의 필드 경로입니다. 지정하면 텍스트가 Milvus의 text 필드 아래에 삽입됩니다. 지정하지 않으면 텍스트가 Milvus 데이터베이스로 전송되지 않습니다. |
| Vector Field Name | 벡터를 저장하기 위해 Milvus에서 사용할 필드 이름입니다. |
| Vector Record Path | 레코드에서 벡터 필드로 가는 경로입니다. |
관계 (Relationships)
| 이름 (Name) | 설명 (Description) |
|---|---|
| failure | Milvus로 보낼 수 없고 재시도가 성공할 것으로 기대되지 않는 FlowFile이 이 관계로 라우팅됩니다. |
| retry | Milvus로 보내는 데 실패했지만 재시도가 도움이 될 수 있는 FlowFile이 이 관계로 라우팅됩니다. |
| success | Milvus로 성공적으로 전송된 FlowFile이 이 관계로 라우팅됩니다. |
함께 보기 (See also)
com.snowflake.openflow.runtime.processors.milvus.DeleteMilvus