엔터프라이즈 퀵스타트: 하나의 게이트웨이로 LLM·MCP·에이전트까지
엔터프라이즈 퀵스타트: 하나의 게이트웨이로 LLM·MCP·에이전트까지
엔터프라이즈 트라이얼(30일 라이선스)을 받아서, LiteLLM을 LLM·MCP·에이전트를 아우르는 통합 게이트웨이로 평가해 보는 게 이 퀵스타트의 목적이에요. 단순히 "모델 호출을 라우팅"하는 걸 넘어서, 하나의 제어 평면(control plane)이 모델 호출, MCP 도구 호출, A2A 에이전트 호출 세 가지 모두의 접근 권한과 지출을 같은 규칙으로 통제한다는 게 핵심 컨셉입니다.
눈여겨볼 점은 SSO가 최대 5명까지는 무료이고, 그 이상은 엔터프라이즈 라이선스가 필요하다는 점이에요. 전체 기능 목록은 Enterprise 문서에서 확인할 수 있어요.
시작 전에 필요한 것
하나의 배포(org/팀/키 하나)에 모든 게이트웨이·예산 테스트를 함께 돌리므로, 이 섹션부터 순서대로 하는 걸 권장합니다. 준비물로는 LLM 프로바이더 API 키(OpenAI, Azure, Anthropic 등), Postgres(관리 UI·가상 키·MCP/에이전트 레지스트리·예산 추적에 필수), 엔터프라이즈 라이선스 키, 그리고 배포 대상(Docker Compose·Kubernetes·Helm 중 하나)이 필요해요.
배포는 Docker Compose가 가장 단순합니다. 이미지를 받고 docker-compose.yml을 내려받은 뒤, .env에 LITELLM_MASTER_KEY, LITELLM_SALT_KEY, LITELLM_LICENSE, OPENAI_API_KEY를 넣고, config.yaml에 모델 목록·콜백·마스터 키·DB 연결을 적은 다음 docker compose up으로 올리면 됩니다. http://localhost:4000/의 Swagger에 "Enterprise Edition" 이 표시되면 라이선스가 인식된 거예요.
공용 셋업: 조직과 팀과 키를 먼저
게이트웨이 트랙을 시작하기 전에 관리 UI에서 공용 기반을 잡아요. 조직(최상위 엔티티, 예: 컴퓨터과학부)을 만들고 그 안에 팀(로보틱스 클럽, 프론트엔드 팀 등)을 만들고, 팀에 내부 사용자를 초대하고, 팀에 max_budget(예: 30일 $10)을 걸고, 팀 범위의 가상 키를 만들어 모델 접근을 허용합니다. 여기서 예산 봉투를 일찍 만들어 두어야 나중에 예산 초과 동작을 검증할 수 있어요.
LLM 게이트웨이 검증
모델이 model_list에 보이는지 확인하고, 마스터 키로 /chat/completions에 한 번 호출해서 200 OK와 assistant 텍스트를 확인한 뒤, 팀 가상 키로 같은 요청을 반복합니다. 그리go Logs 탭에서 키·팀·모델·지연시간·지출이 찍히는지, Teams 탭에서 팀 지출이 max_budget 쪽으로 증가하는지 확인하면 LLM 라우팅·지출 추적·RBAC가 검증돼요.
MCP 게이트웨이 검증
MCP 서버(예: deepwiki)를 등록하고, 팀/키의 MCP 설정에서 그 서버를 허용하면 됩니다. 그 후 /v1/chat/completions에서 tools에 type: "mcp"로 도구를 지정해서 호출하면, 응답에 도구 출력과 assistant 요약이 들어오고 Logs 탭에 네임스페이스된 도구 이름과 비용까지 찍혀요.
A2A 에이전트 검증
샘플 A2A 에이전트를 배포하고 관리 UI에 등록한 뒤, 키에 에이전트 접근을 허용하고 /v1/agents로 목록을 확인하고 A2A SDK로 메시지를 보내면 됩니다. Logs에서 키·팀·지연시간·에이전트에 귀속된 비용을 확인할 수 있고, 그 비용은 앞서 만든 팀/키 지출에 함께 쌓여요.
하나의 예산이 세 게이트웨이를 통제한다
여기가 이 퀵스타트가 보여주려는 정점이에요. 예산·비율 제한은 같은 가상 키를 통해 세 게이트웨이(LLM·MCP·에이전트) 모두에 적용됩니다. max_budget: 0.01, rpm_limit: 1 같은 타이트한 키를 만들어 첫 요청은 200, 같은 분의 두 번째 요청은 비율 초과 오류가 나는 걸 확인하고, 팀 지출이 세 종류 호출에 걸쳐 누적되는지 보면 됩니다. 태그 예산(tag_budget_config)은 특정 태그(예: poc:chat-app)에 미세한 예산을 걸고, 그 태그가 붙은 요청이 두 번째부터 예산 초과로 막히는 걸 검증할 수 있어요.
그다음: 보안과 컴플라이언스
게이트웨이와 예산이 돌아간 다음에는 감사 로그(store_audit_logs: true), 가드레일(시크릿 탐지·콘텐츠 모더레이션)을 키/팀에 부착, 관리 UI 로그인용 SSO(Google·Microsoft·Okta/OIDC), 그리고 JWT 기반 앱 인증, 시크릿 매니저 연동까지 올릴 수 있어요. 프로덕션 진입 전에 이 계층들을 하나씩 얹으면 됩니다.
지출 추적·옵저버빌리티·멀티 리전·데이터 보안 같은 영역은 각각 전용 문서가 있고, 모든 엔터프라이즈 라이선스에는 엔지니어링 팀과의 전용 Slack/Teams 채널이 포함됩니다.