StandardAnthropicLLMService
StandardAnthropicLLMService (표준 Anthropic LLM 서비스)
StandardAnthropicLLMService는 Anthropic의 Claude AI 모델을 Messages API를 통해 통합하는 컨트롤러 서비스예요. NiFi에서 LLM 기반 처리(예: 요약, 분류, 생성)를 하고 싶을 때 사용합니다. 모델 선택, 응답 생성 설정(temperature, top_p, top_k), 토큰 한도, 재시도 동작 등 구성 가능한 매개변수를 지원해요.
출처: Snowflake 문서
본문
기능 — 일반 사용 가능 (Generally Available)
- Openflow Snowflake Deployments는 AWS, Azure, GCP의 Commercial 리전에 있는 모든 계정에서 사용할 수 있어요.
- Openflow BYOC 배포는 AWS Commercial 리전의 모든 계정에서 사용할 수 있어요.
설명 (Description)
Anthropic의 Claude AI 모델을 Messages API를 통해 통합하는 컨트롤러 서비스예요. 모델 선택, 응답 생성 설정(temperature, top_p, top_k), 토큰 한도, 재시도 동작을 포함한 구성 가능한 매개변수를 지원해요.
태그 (Tags)
ai, anthropic, api, claude, language model, llm, openflow
속성 (Properties)
아래 목록에서 필수 속성(Properties)은 별표(*)로 표시돼요. 나머지 속성은 선택 사항이에요. 표는 각 속성의 기본값과 NiFi Expression Language 지원 여부도 함께 보여줘요.
| 표시 이름 | API 이름 | 기본값 | 허용 값 | 설명 |
|---|---|---|---|---|
| Anthropic API Key * | Anthropic API Key | Anthropic에 인증하기 위한 API Key예요. | ||
| Backoff Base Delay (ms) * | Backoff Base Delay (ms) | 1000 | 재시도 사이의 지수 백오프(exponential backoff)에 사용하는 기본 지연 시간(밀리초)이에요. | |
| Max Response Tokens * | Max Response Tokens | 1000 | 응답에서 생성할 최대 토큰 수예요. | |
| Max Retries * | Max Retries | 3 | API 호출의 최대 재시도 횟수예요. | |
| Model Name * | Model Name | claude-3-5-sonnet-latest | Anthropic 모델의 이름이에요. | |
| Temperature | Temperature | 응답을 생성할 때 사용할 temperature예요. | ||
| Top K | Top K | 응답 생성 시 사용할 top K 값이에요. 각 후속 토큰에 대해 상위 K 옵션에서만 샘플링해요. 고급 사용 사례에만 권장되며, 보통은 temperature만 사용하면 돼요. | ||
| Top P | Top P | 중핵 샘플링(nucleus sampling)을 위한 top_p 값이에요. 생성된 응답의 다양성을 제어해요. | ||
| User ID | User ID | 요청 메타데이터에 설정할 사용자 ID예요. | ||
| Web Client Service * | Web Client Service | LLM 제공자와 통신하는 데 사용할 Web Client Service예요. |
상태 관리 (State management)
이 컴포넌트는 상태(state)를 저장하지 않아요.
제한 (Restricted)
이 컴포넌트는 제한되지 않아요.
시스템 리소스 고려 사항 (System Resource Considerations)
이 컴포넌트는 별도 시스템 리소스 고려 사항이 없어요.