Generators
Generators
Generator는 프롬프트를 받은 뒤 텍스트를 생성하는 역할을 담당해요. 각각 특정 LLM 기술(OpenAI, 로컬, TGI 등)에 맞춰져 있어요.
| Generator | 설명 | 스트리밍 지원 |
|---|---|---|
| AmazonBedrockChatGenerator | Amazon Bedrock 서비스를 통해 모델로 채팅 완성을 지원해요. | ✅ |
| AmazonBedrockGenerator | Amazon Bedrock 서비스를 통해 모델로 텍스트 생성을 지원해요. | ✅ |
| AIMLAPIChatGenerator | AIMLAPI를 통해 AI 모델로 채팅 완성을 지원해요. | ✅ |
| AnthropicChatGenerator | Anthropic 대규모 언어 모델(LLM)로 채팅 완성을 지원해요. | ✅ |
| AnthropicFoundryChatGenerator | Azure Foundry에서 제공하는 Anthropic 모델로 채팅 완성을 지원해요. | ✅ |
| AnthropicVertexChatGenerator | AnthropicVertex API로 채팅 완성을 지원해요. | ✅ |
| AnthropicGenerator | Anthropic 대규모 언어 모델(LLM)로 텍스트 완성을 지원해요. | ✅ |
| AzureOpenAIChatGenerator | Azure 서비스를 통해 OpenAI의 LLM으로 채팅 완성을 지원해요. | ✅ |
| AzureOpenAIResponsesChatGenerator | Azure 서비스를 통해 OpenAI의 Responses API로 추론 모델을 지원하며 채팅 완성을 지원해요. | ✅ |
| CohereChatGenerator | Cohere의 LLM으로 채팅 완성을 지원해요. | ✅ |
| CohereGenerator | Cohere API로 LLM을 질의해요. | ✅ |
| CometAPIChatGenerator | Comet API를 통해 AI 모델로 채팅 완성을 지원해요. | ✅ |
| EdenAIChatGenerator | Eden AI 게이트웨이를 통해 500개 이상의 모델로 채팅 완성을 지원해요. | ✅ |
| FallbackChatGenerator | 여러 Chat Generator를 하나가 성공할 때까지 순차 시도하는 ChatGenerator 래퍼예요. | ✅ |
| GoogleAIGeminiChatGenerator | Google Gemini 모델로 채팅 완성을 지원해요. 이 통합은 곧 폐기될 예정이에요. 대신 GoogleGenAIChatGenerator 통합을 권장해요. | ✅ |
| GoogleAIGeminiGenerator | Google Gemini 모델로 텍스트 생성을 지원해요. 이 통합은 곧 폐기될 예정이에요. 대신 GoogleGenAIChatGenerator 통합을 권장해요. | ✅ |
| GoogleGenAIChatGenerator | Google Gen AI SDK를 통해 Google Gemini 모델로 채팅 완성을 지원해요. | ✅ |
| HuggingFaceAPIChatGenerator | 다양한 Hugging Face API로 채팅 완성을 지원해요. | ✅ |
| TransformersChatGenerator | 로컬에서 실행되는 Hugging Face 모델로 채팅 완성을 위한 인터페이스를 제공해요. | ✅ |
| LiteLLMChatGenerator | LiteLLM을 통해 다양한 LLM 프로바이더로 채팅 완성을 지원해요. | ✅ |
| LlamaCppChatGenerator | Llama.cpp에서 실행되는 LLM으로 채팅 완성을 지원해요. | ✅ |
| LlamaCppGenerator | Llama.cpp로 실행되는 LLM으로 텍스트를 생성해요. | ❌ |
| LlamaStackChatGenerator | Llama Stack 서버로 제공되는 LLM 모델로 채팅 완성을 지원해요. | ✅ |
| MetaLlamaChatGenerator | Meta가 2026년 7월 6일 공개 미리보기 Llama API를 중단해 보관 처리됐어요. 지원되는 대안은 컴포넌트 페이지를 참고하세요. | ✅ |
| MistralChatGenerator | Mistral의 텍스트 생성 모델로 채팅 완성을 지원해요. | ✅ |
| MockChatGenerator | API 호출 없이 미리 정의된 응답을 반환해요. 테스트와 프로토타입에서 실제 Chat Generator의 결정적이고 비용이 들지 않는 대체물이에요. | ✅ |
| NvidiaChatGenerator | Nvidia 호스팅 모델로 채팅 완성을 지원해요. | ✅ |
| NvidiaGenerator | NVIDIA NIM으로 자체 호스팅하거나 NVIDIA API 카탈로그에 호스팅된 모델로 텍스트를 생성하는 인터페이스를 제공해요. | ❌ |
| OllamaChatGenerator | Ollama에서 실행되는 LLM으로 채팅 완성을 지원해요. | ✅ |
| OllamaGenerator | Ollama에서 실행되는 LLM으로 텍스트를 생성하는 인터페이스를 제공해요. | ✅ |
| OpenAIChatGenerator | OpenAI의 대규모 언어 모델(LLM)로 채팅 완성을 지원해요. | ✅ |
| OpenAIImageGenerator | gpt-image-2 같은 OpenAI의 이미지 생성 모델로 이미지를 생성해요. |
❌ |
| OpenAIResponsesChatGenerator | OpenAI의 Responses API로 추론 모델을 지원하며 채팅 완성을 지원해요. | ✅ |
| OpenRouterChatGenerator | OpenRouter에 호스팅된 어떤 모델로도 채팅 완성을 지원해요. | ✅ |
| OrcaRouterChatGenerator | OrcaRouter를 통해 라우팅된 모델로 채팅 완성을 지원해요. | ✅ |
| PerplexityChatGenerator | Perplexity Agent API를 통해 모델로 채팅 완성을 지원해요. | ✅ |
| SagemakerGenerator | Amazon Sagemaker에 배포된 LLM으로 텍스트 생성을 지원해요. | ❌ |
| STACKITChatGenerator | STACKIT API로 채팅 완성을 지원해요. | ✅ |
| TogetherAIChatGenerator | Together AI에 호스팅된 모델로 채팅 완성을 지원해요. | ✅ |
| TogetherAIGenerator | Together AI에 호스팅된 모델로 텍스트 생성을 지원해요. | ✅ |
| VertexAICodeGenerator | Google Vertex AI 생성 모델로 코드 생성을 지원해요. | ❌ |
| VertexAIGeminiChatGenerator | GCP Vertex AI로 Google Gemini 모델을 사용해 채팅 완성을 지원해요. 이 통합은 곧 폐기될 예정이에요. 대신 GoogleGenAIChatGenerator 통합을 권장해요. | ✅ |
| VertexAIGeminiGenerator | GCP Vertex AI로 Google Gemini 모델을 사용해 텍스트 생성을 지원해요. 이 통합은 곧 폐기될 예정이에요. 대신 GoogleGenAIChatGenerator 통합을 권장해요. | ✅ |
| VertexAIImageCaptioner | Google Vertex AI imagetext 생성 모델로 텍스트 생성을 지원해요. |
❌ |
| VertexAIImageGenerator | Google Vertex AI 생성 모델로 이미지 생성을 지원해요. | ❌ |
| VertexAIImageQA | Google Vertex AI 생성 모델로 텍스트 생성(이미지 캡셔닝)을 지원해요. | ❌ |
| VertexAITextGenerator | Google Vertex AI 생성 모델로 텍스트 생성을 지원해요. | ❌ |
| VLLMChatGenerator | vLLM으로 서빙된 모델로 채팅 완성을 지원해요. | ✅ |
| WatsonxGenerator | IBM Watsonx 모델로 텍스트 생성을 지원해요. | ✅ |
| WatsonxChatGenerator | IBM Watsonx 모델로 채팅 완성을 지원해요. | ✅ |
출처: 공식문서