LiteLLM Enterprise — 100명 이상 팀을 위한 관리 기능

LiteLLM Enterprise — 100명 이상 팀을 위한 관리 기능

LiteLLM을 쓰다 보면 어느 순간 "이제 몇 명 안 되는 팀이 아니라, 수백 명의 사용자와 수십 개 애플리케이션이 LLM을 쓰는데 안전하게 관리할 방법이 필요하다" 싶은 순간이 옵니다. 그때 보게 되는 것이 Enterprise입니다. 100명 이상의 사용자 또는 10개 이상의 프로덕션 AI 유스케이스를 돌리는 팀을 위해, OSS 기능 위에 SSO, 감사 로그, 세분화된 접근 제어, 전문 지원을 얹는 상품이에요.

출처: 공식문서 — Enterprise

OSS가 이미 덮는 것 vs Enterprise가 추가하는 것

LiteLLM OSS가 이미 다루는 영역은 상당히 큽니다 — OpenAI 호환 게이트웨이, 가상 키, 지출 추적, 예산, 폴백, 요청/응답 로깅까지요. Enterprise는 여기서 한 걸음 더 나아가, 대규모 조직이 수백 명의 사용자와 수십 개 애플리케이션에 LLM 접근을 안전하게 주기 위해 필요한 통제 기능을 추가합니다.

여기서 한 가지 덧붙일 게 있어요 — OSS의 몇몇 내장 콜백 통합(llmguard_moderations, llamaguard_moderations, hide_secrets, openai_moderations, google_text_moderation, lakera_prompt_injection, aporia_prompt_injection)은 LiteLLM Enterprise 라이선스가 필요합니다. 다만 OSS 가드레일 프레임워크 자체가 커스텀 가드레일과 Presidio(PII 마스킹)은 지원해요.

Enterprise가 주는 것들 무리로 보기

접근 통제·감사부터 시작해서, 살펴볼 영역별로 나눠볼게요.

보안과 인증 — 관리 UI용 SSO(Okta, Azure AD, Google Workspace, 모든 OIDC/SAML 프로바이더), JWT 기반 인증(내 아이덴티티 프로바이더의 토큰으로 요청 인증), IP 주소 기반 접근 제어(CIDR 범위 제한), 가상 키 자동 회전, AWS KMS·Azure Key Vault·HashiCorp Vault 등 비밀 관리자 통합까지 지원합니다. 관리 경로를 제한하고 노출 면적을 좁히는 공개/비공개 라우트 제어도 있어요.

감사와 RBAC — 모든 관리자 액션과 키 수준 변경을 추적하는 감사 로그(보존 정책 포함)와, 조직·팀·사용자 역할 기반 접근 제어(RBAC)를 제공합니다.

지출 관리 — 멀티 테넌트 아키텍처(조직→팀→프로젝트→키), 프로젝트 관리(애플리케이션·유스케이스별 키 그룹, 예산·소유자·격리된 지출 추적), 모델별·키별 예산, 태그 기반 예산, 임시 예산 증액, 한도 전에 팀에 알리는 소프트 예산 이메일 알림까지 있습니다.

로깅과 컴플라이언스 — 팀별로 자체 Langfuse 프로젝트에 로그를 보내는 팀 기반 로깅, GDPR 친화적인 팀별 로깅 비활성화, 컴플라이언스를 위한 GCS·Azure Blob 로그 내보내기가 가능합니다.

기타 — 커스텀 Swagger 브랜딩, 이메일 브랜딩, 요청/응답 크기 제한(폭주 페이로드 보호), 팀이 자체 키와 파인튠을 가져오는 팀 관리형 모델 등이 있습니다.

프로젝트 기능이 특히 유용한데요, 팀 하나가 여러 앱을 돌릴 때 앱별로 분리된 보고가 필요하잖아요. 프로젝트로 가상 키를 애플리케이션·환경·고객별로 묶고, 프로젝트마다 자체 예산·비율 제한·모델 허용 목록·전용 소유자·지출 대시보드를 줍니다.

배포와 데이터

엔터프라이즈도 기본적으로는 여러분 인프라에 우리 Docker 이미지(pip 패키지에서 빌드해도 됩니다)를 배포하는 방식입니다. 라이선스 키를 주면 위 기능들이 활성화되고, 전용 지원 채널이 열려요.

LITELLM_LICENSE="eyJ..."

핵심만 짚자면 여러분 환경 밖으로 나가는 데이터가 없습니다. AWS·Azure 마켓플레이스를 통한 조달도 지원됩니다. 가격은 배포 규모에 따라 달라져서 견적을 받아봐야 해요.

지원과 라이선스 정책

모든 엔터프라이즈 라이선스에는 엔지니어링 팀과의 전용 Slack/Teams 채널이 포함됩니다(월금, PST 오전 9시오후 9시, 보장 응답 시간 없음). 보장 응답 시간이 필요한 팀은 표준 지원 위에 24/7 지원 SLA를 추가로 살 수 있어요.

라이선스 정책에도 눈여겨볼 게 있어요. LiteLLM은 가장 최근 네 개의 안정 마이너 릴리스 라인을 지원합니다. 각 라인은 패치 릴리스를 계속 받고, 그보다 오래된 건 EOL(수명 종료)로 업데이트가 중단됩니다. 지원 라인은 새 안정 릴리스가 나오면 함께 앞으로 굴러가요. 여러분 라인이 어디쯤인지 보고 싶다면 최신 안정 라인에서 네 개를 세어 내려가면 돼요 — 그보다 오래되었으면 업그레이드를 계획하세요. 가장 단순한 길은 마이너 라인에 고정해서 패치를 받고, 라인이 지원 밖으로 나가기 전에 새 라인으로 옮기는 것입니다.

더 알아보기

• 데이터 보안과 프라이버시 — 자체호스팅 시 데이터 처리
• 멀티 리전 배포 — 하나의 라이선스로