StandardOpenAILLMService
StandardOpenAILLMService (표준 OpenAI LLM 서비스)
StandardOpenAILLMService는 OpenAI의 Chat Completion API와 통합을 제공하는 컨트롤러 서비스예요. NiFi에서 OpenAI 기반 LLM 처리를 하고 싶을 때 사용합니다. 모델 선택, temperature, top_p, max tokens, 재시도 동작 등 구성 가능한 매개변수를 지원하며, API 인증, 지수 백오프를 사용한 요청 재시도, 오류 처리를 다룹니다.
출처: Snowflake 문서
본문
기능 — 일반 사용 가능 (Generally Available)
- Openflow Snowflake Deployments는 AWS, Azure, GCP의 Commercial 리전에 있는 모든 계정에서 사용할 수 있어요.
- Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.
설명 (Description)
OpenAI의 Chat Completion API와 통합을 제공하는 컨트롤러 서비스예요. 모델 선택, temperature, top_p, max tokens, 재시도 동작을 포함한 구성 가능한 매개변수를 지원해요. API 인증, 지수 백오프를 사용한 요청 재시도, 오류 처리를 다룹니다.
태그 (Tags)
ai, chat completion, chatgpt, large language model, llm, openai, openflow
속성 (Properties)
아래 목록에서 필수 속성(Properties)은 별표(*)로 표시돼요. 나머지 속성은 선택 사항이에요. 표는 각 속성의 기본값과 NiFi Expression Language 지원 여부도 함께 보여줘요.
| 표시 이름 | API 이름 | 기본값 | 허용 값 | 설명 |
|---|---|---|---|---|
| Backoff Base Delay (ms) * | Backoff Base Delay (ms) | 1000 | 재시도 사이의 지수 백오프(exponential backoff)에 사용하는 기본 지연 시간(밀리초)이에요. | |
| Max Response Tokens | Max Response Tokens | 응답에서 생성할 최대 토큰 수예요. | ||
| Max Retries * | Max Retries | 3 | API 호출의 최대 재시도 횟수예요. | |
| Model Name * | Model Name | gpt-4o-mini | OpenAI 모델의 이름이에요. | |
| OpenAI API Key * | OpenAI API Key | OpenAI에 인증하기 위한 API Key예요. | ||
| Seed | Seed | 응답을 생성할 때 사용할 시드(seed)예요. | ||
| Temperature | Temperature | 응답 생성 시 사용할 temperature예요. | ||
| Top P | Top P | 중핵 샘플링(nucleus sampling)을 위한 top_p 값이에요. 생성된 응답의 다양성을 제어해요. | ||
| User | User | 모니터링과 오용 감지를 위해 OpenAI로 보내는 최종 사용자예요. | ||
| Web Client Service * | Web Client Service | LLM 제공자와 통신하는 데 사용할 Web Client Service예요. |
상태 관리 (State management)
이 컴포넌트는 상태(state)를 저장하지 않아요.
제한 (Restricted)
이 컴포넌트는 제한되지 않아요.
시스템 리소스 고려 사항 (System Resource Considerations)
이 컴포넌트는 별도 시스템 리소스 고려 사항이 없어요.