OpenAI 호환 모델 프로바이더/프록시에 연결하기
OpenAI 호환 모델 프로바이더/프록시에 연결하기
Playground를 사용하면 OpenAI API와 호환되는 모든 모델을 사용할 수 있어요. Playground에서 프록시 프로바이더(Proxy Provider)를 설정해서 모델을 활용할 수 있어요.
출처: 문서
본문
OpenAI 호환 모델 배포하기
많은 프로바이더가 OpenAI 호환 모델 또는 프록시 서비스를 제공해요. 그 예시로는 다음이 있어요:
이러한 프로바이더를 사용해 모델을 배포하고 OpenAI API와 호환되는 API 엔드포인트를 얻을 수 있어요.
자세한 내용은 전체 사양을 확인하세요.
Playground에서 모델 사용하기
모델 서버를 배포한 후에는 Playground에서 사용할 수 있어요.
Prompt Settings 메뉴에 접근하려면:
- Prompts 제목 아래에서 모델 이름 옆의 기어
아이콘을 선택하세요. - Model Configuration 탭에서 드롭다운으로 편집할 모델을 선택하세요.
- Provider 드롭다운에서 OpenAI Compatible Endpoint를 선택하세요.
- Base URL 입력에 OpenAI 호환 엔드포인트를 추가하세요. 예시는 Base URL 형식을 참고하세요.
모든 것이 올바르게 설정되었다면 Playground에서 모델의 응답을 볼 수 있어요. 이 기능을 사용해 다운스트림 파이프라인을 호출할 수도 있어요.
모델 구성을 저장하는 방법에 대한 정보는 프롬프트 설정 구성을 참고하세요.
OpenAI 호환 엔드포인트가 OAuth2 게이트웨이 뒤에 있다면, 정적 API 키를 워크스페이스 시크릿으로 배포하는 대신 모델 구성에 OAuth client_credentials를 저장하세요. OAuth 클라이언트 자격 증명을 참고하세요.
Base URL 형식
Base URL은 OpenAI 호환 API 서버의 루트를 가리켜야 해요. LangSmith는 /chat/completions를 자동으로 추가하므로 Base URL에 포함하지 마세요.
Base URL 예시
| 프로바이더 | 예시 Base URL |
|---|---|
| Ollama (로컬) | http://localhost:11434/v1 |
| LiteLLM Proxy (로컬) | http://localhost:4000 |
| vLLM (로컬) | http://localhost:8000/v1 |
| 셀프 호스팅 (원격) | https://my-model-server.example.com/v1 |
커스텀 경로 접두사가 지원돼요. 서버가 /api/v2/chat/completions에서 완료(completions)를 노출한다면 Base URL을 https://my-server.example.com/api/v2로 설정하세요.