LiteLLM 데이터 보안과 프라이버시 — 자체호스팅하면 데이터는 어디에?
LiteLLM 데이터 보안과 프라이버시 — 자체호스팅하면 데이터는 어디에?
LLM 게이트웨이를 자체호스팅할 때 가장 먼저 떠오르는 의문이 있어요. "내 프롬프트, 내 키, 내 로그가 LiteLLM 서버로 새어나가는 거 아닐까?" 이 페이지는 바로 그 질문에 분명하게 답합니다. 걸리는 건 이해할 만하죠, 게이트웨이는 우리 코드와 프로바이더 사이, 모든 요청이 지나가는 위치니까요.
자체호스팅 시 데이터는 우리 인프라 안에만 있어요
LiteLLM의 자체호스팅 원칙은 아주 단순합니다. 자체호스팅하면 어떤 데이터나 텔레메트리도 LiteLLM 서버에 저장되지 않아요. 개인 데이터를 LiteLLM 서버로 수집하거나 전송하지 않고, 생성되거나 처리되는 모든 데이터는 완전히 여러분 인프라 내부에 머뭅니다. 텔레메트리도 자체호스팅에선 돌지 않습니다. 설치·설정은 자체호스팅 가이드(프로덕션 배포 문서)를 따라가면 돼요.
쿠키도 최소한으로
Admin UI를 쓰려면 어쩔 수 없이 쿠키가 필요하긴 한데, 그것도 철저히 최소화되어 있어요. LiteLLM은 프록시 사용자가 Admin UI에 접근할 수 있게 하는 용도로만 아주 적은 쿠키를 씁니다. 로그인 후 브라우저에 저장되고, 광고·추적이나 로그인 세션 유지 외의 어떤 목적으로도 쓰이지 않아요. 세션 쿠키는 브라우저를 닫거나 로그아웃하면, 또는 24시간이 지나면 만료됩니다. 서드파티 쿠키는 아예 사용하지 않아요. Admin UI가 그 쿠키로 로그인 세션을 인증하는데, 쿠키는 JWT로 저장되어 시스템의 어떤 다른 부분에서도 접근할 수 없고, LiteLLM 쪽에서 다른 목적으로 접근하거나 공유하지도 않습니다.
취약점 신고
보안 커뮤니티의 역할을 소중히 여기고 있으니, 취약점을 발견했다면 [email protected]로 이메일을 보내면 됩니다. 재현 단계와 관련 정보를 포함해 주세요. 지금은 버그 바운티 프로그램은 운영하지 않는다는 점만 알아두시면 되겠네요 — 신고는 신속히 검토한다고 합니다.
이미지 보안 스캔
공식적으로 빌드되는 모든 Docker 이미지에 대해 LiteLLM은 grype 보안 스캔을 돌립니다. 현재 상태는 통과(passing)이고, High/Critical 심각도 취약점은 0건입니다.
컴플라이언스 — 물어볼 만한 것들
엔터프라이즈 구매 전에 보안 담당자가 꼭 물어보는 항목들을 정리해 봤어요.
- 감사·인증: SOC 2 Type I 인증됨(엔터프라이즈 플랜에서 보고서 제공). SOC 2 Type II 진행 중. ISO 27001 인증됨(보고서 제공). 정보보안관리시스템(ISMS)도 CodeQL과 함께 운영 중.
- 이벤트 로깅: 인증, 생성, 변경 같은 key 이벤트 로깅 여부 — 예, 감사 로그가 있습니다.
- 사고 대응·취약점 공개: 사이버 사고 대응 프로그램(Incident Response Policy)이 있고, 취약점 공개 정책도 있습니다.
- 취약점 스캔: 정기적으로 수행하며, 위에서 본 대로 Vulnerability Scanning 섹션에 상세히 나와 있습니다.
법적 엔터티명은 Berrie AI Incorporated이고, 보안 사고·보안 관련 일반 문의 포인트 오브 컨택트는 [email protected]입니다. 조달은 인보이스, AWS 마켓플레이스, Azure 마켓플레이스 세 경로로 가능해요.