채팅 모델 통합

채팅 모델 통합 (Chat model integrations · LangChain Python)

LangChain Python에서 채팅 모델과 통합하는 방법을 정리한 페이지예요. 채팅 모델은 전통적인 일반 텍스트 LLM과 달리 메시지 시퀀스를 입력받고 메시지를 출력으로 반환하는 언어 모델이에요.

출처: 공식문서

주요(Featured) 모델

LangChain 클래스들이 특정 고급 기능을 지원한다고 해서, 그 기능을 지원하는 호스팅 모델이나 백엔드가 항상 있다는 뜻은 아니에요. 공급자별 문서를 반드시 확인하세요.

주요 통합 클래스와 기능 지원(Stream · Tool calling · Structured output · Multimodal) 요약:

  • AzureChatOpenAI: ✅ / ✅ / ✅ / ✅
  • ChatOpenAI: ✅ / ✅ / ✅ / ✅
  • ChatVertexAI(deprecated): ✅ / ✅ / ✅ / ✅
  • ChatAnthropic: ✅ / ✅ / ✅ / ✅
  • ChatGoogleGenerativeAI: ✅ / ✅ / ✅ / ✅
  • ChatOllama: ✅ / ✅ / ✅ / ✅
  • ChatDatabricks: ✅ / ✅ / ✅ / ❌
  • ChatGroq: ✅ / ✅ / ✅ / ✅
  • ChatHuggingFace: ❌ / ✅ / ✅ / ✅
  • ChatLiteLLM: ✅ / ✅ / ✅ / ✅
  • ChatMistralAI: ✅ / ✅ / ✅ / ❌
  • ChatOpenRouter: ✅ / ✅ / ✅ / ✅
  • ChatXAI: ✅ / ✅ / ✅ / ❌
  • ChatNVIDIA: ✅ / ✅ / ✅ / ✅
  • ChatDeepSeek: ✅ / ✅ / ✅ / ❌
  • ChatTogether: ✅ / ✅ / ✅ / ✅
  • ChatAmazonNova: ✅ / ✅ / ✅

전체 목록은 아래 "전체 채팅 모델 목록"을 참고하세요.

라우터와 프록시 (Routers and proxies)

라우터/프록시는 단일 API와 크레덴셜로 여러 공급자의 모델에 접근하게 해줘요. 빌링을 단순화하고, 통합 변경 없이 모델을 전환하며, 자동 폴백 같은 기능을 제공해요.

  • Agentic SpendGuard / SpendGuardChatModel: 공급자에 도달하기 전에 예산 한도를 초과하는 LLM 호출을 거부하는 런타임 예산 게이트
  • Alephant AI / ChatAlephantAI: 비용 제어, BYOK 라우팅, 다중 공급자 모델 접근을 위한 AI 게이트웨이
  • OpenRouter / ChatOpenRouter: OpenAI·Anthropic·Google·Meta 등 모델에 대한 통합 접근
  • LiteLLM / ChatLiteLLMRouter: 라우팅과 폴백을 포함한 다중 공급자 통합 인터페이스

Chat Completions API

일부 모델 공급자는 OpenAI의 Chat Completions API와 호환되는 엔드포인트를 제공해요. 이런 경우 ChatOpenAI에 커스텀 base_url을 지정해 기본 채팅 기능에 연결할 수 있어요.

ChatOpenAI는 공식 OpenAI API 스펙만을 목표로 하며, 서드파티의 비표준 응답 필드(예: reasoning_content, reasoning, reasoning_details)는 추출·보존되지 않아요. 비표준 기능이 필요하면 공급자 전용 패키지를 사용하세요.

  • OpenRouter는 전용 LangChain 통합(ChatOpenRouter)이 있어요.
  • Snowflake Cortex REST API는 OpenAI·Anthropic API 모두와 완전 호환되며, 커스텀 base_url로 ChatOpenAI 또는 ChatAnthropic을 써서 접근할 수 있어요.
  • Auxen, DaoXE(기본 base_url=https://daoxe.com/v1), Apertis(https://api.apertis.ai/v1), AI Power Grid(https://api.aipowergrid.io/v1), Tuning Engines(https://api.tuningengines.com/v1), 1Claw(Shroud TEE 프록시 라우팅)는 모두 OpenAI 호환 Chat Completions 표면을 제공하며, 각자 전용 API 키나 모델 ID를 요구해요.

전체 채팅 모델 목록

주요 모델 외에도 ChatAnthropicVertex, ChatBedrock, ChatFireworks, ChatWatsonx, ChatPerplexity, ChatCerebras, ChatQwen, ChatQwQ, ChatMoonshot, ChatClovaX, ChatAI21, ChatCloudflareWorkersAI, ChatNebius, ChatGradient, ChatWriter, AzureAIChatCompletionsModel, ChatSambaNova, ChatUpstage, ChatBaseten, ChatOCIGenerativeAI 등 수십 개의 클래스가 있으며, 각각 Stream / Tool calling / Structured output / Multimodal 지원 여부가 달라요.

더 알아보기 (Learn more)