회사소개
블로그
DataSketchers

전체 메뉴

회사소개
사업영역
D-SKET
웹빌더CanvasEvents
고객사
블로그
위키
보도자료
ESG
Topics
기술 스택AI·LLM 통합 (AI & LLM)LiteLLM (LLM 게이트웨이/프록시) ›››
  • LiteLLM (LLM 게이트웨이/프록시)
    • 캐싱
    • 에이전트 게이트웨이
    • A2A 에이전트 카드
    • A2A 에이전트 인증 헤더
    • 에이전트 권한 관리
    • A2A 에이전트 비용 추적
    • A2A 에이전트 호출하기
    • 에이전트 반복 예산
    • [BETA] 어댑티브 라우터
    • OpenAI 호환 프로바이더 추가하기
    • 엔드포인트에 가드레일 지원 추가하기
    • 디렉터리 구조
    • [BETA] 제네릭 가드레일 API - PR 없이 통합하기
    • [BETA] 제네릭 프롬프트 관리 API - PR 없이 통합하기
    • Rerank 프로바이더 추가하기
    • 새 가드레일 통합 추가하기
    • 에이전트 SDK
    • LiteLLM v1.71.1 벤치마크
    • AI 도구
    • /v1/messages/count_tokens
    • /v1/messages
    • v1/messages → /responses 파라미터 매핑
    • OpenAI 호환 프로바이더를 위한 네이티브 /v1/messages 및 /v1/responses 패스스루
    • 구조화된 출력
    • API 안정성 정책
    • /guardrails/apply_guardrail
    • /assistants
    • /audio/transcriptions
    • 게이트웨이 인증 레퍼런스
    • Auto Router [Add-on]
    • 공개 벤치마크
    • 내 트래픽에서 평가하기
    • Auto Router 기능 히스토리
    • 프롬프트 캐싱
    • 권장 구성
    • 관리자 설정
    • 사용자 설정
    • /batches
    • LiteLLM에서 completion 배치 호출하기
    • AWS Bedrock 연동
    • /converse
    • /invoke
    • 벤치마크
    • LiteLLM 예산 폴백
    • LiteLLM 예산 초기화 시각과 타임존
    • LiteLLM 예산 라우팅
    • 캐싱 - 인메모리, Redis, s3, gcs, Redis 시맨틱 캐시, 디스크
    • 호스티드 캐시
    • LiteLLM - 로컬 캐싱
    • 콜백 (Callbacks)
    • Claude Code × LiteLLM 호환성 매트릭스
    • Claude Code - 컨텍스트 관리
    • 채팅 컴플리션
    • 어드바이저 도구
    • 오디오 모델 사용하기
    • 컴퓨터 사용
    • PDF 입력 사용하기
    • 지원되지 않는 파라미터 버리기
    • 커스텀 HTTP 핸들러
    • 채팅 컴플리션, Responses API에서의 이미지 생성
    • completion 입력 파라미터 — OpenAI 파라미터를 공급자별로 번역하기
    • 구조화된 출력
    • 벡터 스토어(지식 베이스) 사용하기
    • anthropic 모델의 도구 호출용 메시지 정화
    • 입력 메시지 자르기
    • Mock Completion() 응답 - 테스트 비용 절약 💰
    • 모델 별칭
    • 다중 배포
    • 출력
    • 예측 출력
    • 어시스턴트 메시지 프리픽스
    • 프롬프트 캐싱
    • 프롬프트 압축
    • 프롬프트 포매팅
    • 프로바이더별 파라미터
    • 안정성 - 재시도, 폴백
    • 공유 세션 지원
    • 컴플리션 토큰 사용량 및 비용
    • 웹 페치
    • 웹 검색
    • 문의하기
    • 컨테이너 파일 API
    • /containers
    • 커스텀 웹훅 API 기여하기
    • 기여하기 - UI
    • 토큰 카운팅
    • 커스텀 콜백 (Custom Callbacks)
    • 커스텀 API 서버 연결하기
    • LiteLLM 커스텀 단가
    • LiteLLM 데이터 보안과 프라이버시 — 자체호스팅하면 데이터는 어디에?
    • 호스티드 디버깅
    • 로컬 디버깅
    • 시작하기
    • Docker 이미지 보안 — LiteLLM 이미지 서명을 검증하는 법
    • LiteLLM Docker 퀵스타트 — 한 줄로 게이트웨이를 띄우는 법
    • LiteLLM에서 임베딩(Embedding) 사용하기
    • litellm.aembedding() — 비동기 임베딩
    • litellm.moderation() — 콘텐츠 모더레이션
    • LiteLLM Enterprise — 100명 이상 팀을 위한 관리 기능
    • 엔터프라이즈 퀵스타트: 하나의 게이트웨이로 LLM·MCP·에이전트까지
    • /evals
    • 일관된 예외 처리: Exception Mapping
    • 코드 품질
    • 문서 기여하기
    • 코드 기여하기
    • 커스텀 형식으로 LiteLLM 모델 호출하기
    • Gemini 이미지 생성 마이그레이션 가이드
    • 프로바이더 파일 엔드포인트
    • /fine_tuning
    • LiteLLM에서 함수 호출(Function Calling) 사용하기
    • 퓨전 모델
    • LiteLLM 게이트웨이 퀵스타트
    • /generateContent 엔드포인트
    • 가드레일 프로바이더
    • LiteLLM 가이드
    • 코드 인터프리터
    • 호환성 & 확장성
    • 핵심 요청 & 응답 패턴
    • 파인튜닝 모델 호출하기
    • 멀티모달 입출력
    • 프롬프트 & 컨텍스트
    • 안정성, 테스트 & 비용
    • 검색 & 지식
    • 보안 & 네트워크
    • SSL, HTTP 프록시 보안 설정
    • 도구 통합
    • /images/edits
    • 이미지 생성
    • 이미지 변형
    • 통합
    • 통합 파트너 되기
    • Letta 통합
    • 관측성
    • 웹 검색 통합
    • /interactions 엔드포인트
    • 키·팀 레벨 라우터 설정: 전역 규칙을 세밀하게 나누기
    • ChatLiteLLM() 사용 - Langchain
    • Langfuse 연동
    • LangSmith 연동
    • LiteLLM 배우기
    • lite autoroute
    • LiteLLM config.yaml 구조: 프록시 설정 파일 뜯어보기
    • LiteLLM 폴백과 재시도: 장애 극복의 신뢰성 설계
    • LiteLLM 프로덕션 환경 설정: general_settings와 운영 최적화
    • LiteLLM 타임아웃: 응답이 오지 않는 호출 다루기
    • 로드 밸런싱
    • LiteLLM Proxy - Locust 로드 테스트
    • LiteLLM Proxy - locust 1K RPS 부하 테스트
    • 다중 인스턴스 TPM/RPM
    • LiteLLM SDK vs OpenAI 로드 테스트
    • Google AI Studio - Managed Agents
    • AI 에이전트로 관리하기
    • 마스터 키 회전하기
    • MCP 개요
    • MCP 비-OAuth 인증
    • MCP - AWS SigV4 인증
    • MCP 클라이언트 애플리케이션 허용 목록
    • MCP 구성 참조
    • MCP 권한 관리
    • MCP 비용 추적
    • MCP 배포 가이드
    • 키·팀에 MCP 서버 접근 부여
    • MCP 가드레일
    • MCP ID-JAG 인증
    • MCP OAuth
    • MCP OAuth 패스스루
    • MCP OBO 인증
    • OpenAPI 스펙에서 MCP
    • MCP를 공용 인터넷에 노출하기
    • MCP REST API
    • MCP 시맨틱 도구 필터
    • MCP 서버 사용하기
    • Atlassian MCP 서버
    • Linear MCP 서버
    • Slack MCP 서버
    • MCP 서버 제출
    • MCP 도구 검색
    • MCP 툴셋
    • MCP 문제 해결 가이드
    • MCP 사용하기
    • MCP 제로 트러스트 인증
    • /memory
    • 마이그레이션 가이드 - LiteLLM v1.0.0+
    • 마이그레이션 정책
    • /moderations 엔드포인트
    • 멀티테넌트 아키텍처: 조직·팀·사용자·키, 네 겹으로 나누는 격리
    • AgentOps
    • Argilla
    • Arize AX
    • Athina
    • Azure Sentinel
    • Braintrust
    • CloudZero
    • Datadog
    • DeepEval
    • Focus Export
    • Google Cloud Storage
    • Generic API
    • Grafana Cloud
    • Greenscale
    • Helicone
    • Humanloop
    • Lago
    • Langtrace
    • Levo
    • Literal AI
    • Logfire
    • Lunary
    • Mavvrik
    • MLflow
    • New Relic
    • OpenMeter
    • OpenTelemetry v1
    • OpenTelemetry v2
    • OpenTelemetry v2로 마이그레이션
    • Comet Opik
    • Arize Phoenix
    • PointFive
    • PostHog
    • PromptLayer
    • Qualifire
    • Ramp
    • 원시 요청/응답 로깅
    • Sentry
    • SigNoz
    • Slack
    • Splunk Observability Cloud
    • Sumo Logic
    • Supabase
    • Vantage
    • Weights & Biases
    • /ocr
    • [BETA] OpenID Connect
    • 🛡️ [Beta] 가드레일
    • OpenAI 호환 엔드포인트 연결하기
    • LiteLLM 개요: 100여 개 LLM을 하나의 인터페이스로
    • Anthropic Passthrough
    • AssemblyAI
    • Azure Passthrough
    • Azure AI Speech
    • Bedrock
    • Cohere SDK
    • Amazon Comprehend Medical
    • Cursor Cloud Agents
    • Deepgram Realtime
    • GigaChat
    • Google AI Studio SDK
    • 패스스루 엔드포인트
    • Langfuse SDK
    • Mistral
    • OpenAI Passthrough
    • TinyFish Agent
    • Amazon Transcribe
    • TypeSafe AI
    • Vertex AI SDK
    • Vertex AI Live API WebSocket 패스스루
    • Vertex AI Search Datastores
    • VLLM
    • LiteLLM 프로덕션 배포 — 내 환경에서 안전하게 게이트웨이를 올리는 법
    • Project
    • Agent Lightning
    • Codium PR Agent
    • CompatCanary
    • dbally
    • Docq.AI
    • 🐕 Elroy
    • FastREPL
    • Google ADK
    • GPT Migrate
    • GPTLocalhost
    • Microsoft GraphRAG
    • Harbor
    • HolmesGPT
    • Langstream
    • LiteLLM Proxy
    • llmcord.py
    • mini-swe-agent
    • OpenAI Agents SDK
    • OpenInterpreter
    • Otter
    • PDL
    • pgai
    • Prompt2Model
    • PROMPTMETHEUS
    • Quivr
    • Railtracks
    • SalesGPT
    • 🤗 Smolagents
    • Softgen
    • YiVal
    • Responses API로 프롬프트 관리
    • 프로바이더로 등록하기 — Python 설정 클래스 작성 가이드
    • 모델 프로바이더로 통합하기
    • 모델 가격·컨텍스트 창 추가하기
    • LiteLLM 지원 프로바이더 개요
    • Abliteration
    • AI21
    • AI/ML API
    • Aleph Alpha
    • Amazon Nova
    • Anthropic
    • Anthropic Effort 파라미터
    • Anthropic 프로그래매틱 도구 호출
    • Anthropic 도구 입력 예시
    • Anthropic 도구 검색
    • Anyscale
    • Apertis AI
    • AWS Polly - 텍스트를 음성으로 변환
    • AWS Sagemaker
    • Azure OpenAI
    • Azure AI Studio
    • Azure AI Foundry Agents
    • Azure AI Search - Vector Store
    • Azure Model Router
    • Azure AI 이미지 생성
    • Azure AI 이미지 편집
    • Azure AI Speech
    • Azure AI Search - Vector Store
    • Azure Anthropic
    • Azure OpenAI Embeddings
    • Azure Responses API
    • Azure Text to Speech
    • Azure Document Intelligence OCR
    • Azure AI OCR
    • Azure Video Generation
    • Baseten
    • Bedrock AgentCore
    • Bedrock Agents
    • Bedrock Batches
    • Bedrock Embedding
    • AWS Bedrock - Image Generation
    • Bedrock Imported Models
    • Amazon Bedrock Mantle
    • Bedrock Realtime API
    • AWS Bedrock - Rerank API
    • Bedrock Knowledge Bases
    • Bedrock - Writer Palmyra
    • Black Forest Labs Image Generation
    • Black Forest Labs Image Editing
    • Bytez
    • Cerebras
    • ChatGPT Subscription
    • Chutes
    • Clarifai
    • CLF AI Gateway
    • Cloudflare Workers AI
    • Codestral API [Mistral AI]
    • Cognition
    • Cohere
    • CometAPI
    • CompactifAI
    • Crusoe
    • Dashscope API
    • Databricks
    • DataRobot
    • Deepgram
    • DeepInfra
    • Deepseek
    • Docker Model Runner
    • Eden AI
    • ElevenLabs
    • EmpirioLabs AI
    • Empower
    • Fal AI
    • Featherless AI
    • Fireworks AI
    • FriendliAI
    • Galadriel
    • Gemini - Google AI Studio
    • Gemini File Search
    • Gemini Lyria
    • Gemini Video Generation
    • GigaChat
    • Github
    • GitHub Copilot
    • GMI Cloud
    • [BETA] Google AI Studio
    • Google AI Studio Image Generation
    • Gemini Realtime API - Google AI Studio
    • GradientAI
    • Groq
    • Helicone
    • Heroku
    • Hugging Face
    • HuggingFace Rerank
    • Hyperbolic
    • Inception
    • Infinity
    • Jina AI
    • Lambda AI
    • LangGraph
    • Lemonade
    • LiteLLM Proxy
    • Llamafile
    • LlamaGate
    • LM Studio
    • Manus
    • Meta 모델 API
    • Meta Llama
    • Milvus - 벡터 스토어
    • MiniMax
    • Mistral AI API
    • MongoDB - 벡터 스토어
    • Moonshot AI
    • Morph
    • NanoGPT
    • Nebius AI Studio
    • NLP Cloud
    • Novita AI
    • Nscale
    • Nvidia NIM
    • Nvidia NIM - Rerank
    • Nvidia Riva
    • Oracle Cloud Infrastructure
    • Ollama
    • OpenAI
    • OpenAI - Response API
    • OpenAI 텍스트 음성 변환
    • OpenAI 비디오 생성
    • OpenRouter
    • OVHCloud AI Endpoints
    • Perplexity AI
    • Perplexity 임베딩
    • Petals
    • Poe
    • Predibase
    • PublicAI
    • Pydantic AI 에이전트
    • QwenCloud 및 Qianwen AI 플랫폼
    • RAGFlow
    • RAGFlow 벡터 스토어
    • Recraft
    • Replicate
    • RunwayML - 이미지 생성
    • RunwayML - 텍스트 음성 변환
    • RunwayML - 비디오 생성
    • AWS S3 벡터
    • SambaNova
    • SAP Generative AI Hub
    • Sarvam.ai
    • Scaleway
    • SCX.ai
    • Snowflake Cortex
    • Stability AI
    • Synthetic
    • Tencent TokenHub
    • Tensormesh
    • OpenAI
    • Together AI
    • Topaz
    • Triton Inference Server
    • v0
    • Valkey - 벡터 스토어
    • Vercel AI Gateway
    • Vertex AI Agent Engine
    • Vertex AI 비디오 생성
    • Vertex Batch APIs
    • Vertex AI 임베딩
    • Vertex AI 이미지 생성
    • Vertex AI OCR
    • Vertex AI - Anthropic, DeepSeek, Model Garden, xAI
    • Vertex AI Gemini Live - Realtime API
    • Vertex AI 자체 배포 모델
    • Vertex AI 텍스트 음성 변환
    • Vertex AI 오디오 전사
    • VLLM
    • vLLM - Batch + Files API
    • Volcano Engine
    • Voyage AI
    • Weights & Biases Inference
    • IBM watsonx.ai
    • IBM WatsonX 오디오 전사
    • IBM watsonx.ai 리랭크
    • xAI
    • xAI 보이스 에이전트
    • Xiaomi MiMo
    • Xinference
    • Z.AI
    • 역할 기반 접근 제어
    • Access Groups
    • Admin UI용 SSO
    • Agentic Loop Hook
    • AI Hub
    • 알림 & 모니터링
    • LiteLLM 키
    • [Beta] 프롬프트 관리
    • SDK Proxy 인증
    • Auto Routing
    • 자동 라우팅 벤치마크: 비용 사다리
    • 시맨틱 자동 라우터
    • Azure Redis Entra ID 인증
    • 청구
    • 청구 대상 요청 계량
    • 캐시 컨트롤
    • S3 및 GCS 캐시
    • Redis 및 Valkey 캐시
    • 시맨틱 캐싱
    • 캐시 설정
    • 수신 요청 수정 / 거부
    • CLI 인자
    • Claude Code
    • Claude Desktop
    • Codex
    • Codex
    • 클라이언트 연결 개요
    • 클라이언트측 LLM 자격 증명
    • CLI 인증
    • 파일 관리
    • Config Settings
    • 팀/프로젝트별 자격 증명 라우팅
    • 자격 증명 사용량 추적
    • 커스텀 인증
    • [DEPRECATED] 리전 기반 라우팅
    • 고객 / 최종 사용자
    • 고객 사용량
    • 커스텀 모델 비용 맵
    • [Beta] 커스텀 프롬프트 관리
    • UI - 커스텀 루트 경로
    • ✨ SSO 로그인용 이벤트 훅
    • DB에 저장되는 것
    • 데이터베이스 읽기 복제본
    • 데이터베이스 크기 선정
    • 디버깅
    • 삭제된 키 & 팀 감사 로그
    • 동적 콜백 관리
    • 동적 TPM/RPM 할당
    • AWS ElastiCache IAM 인증
    • 이메일 알림
    • 임베딩 - /embeddings
    • 엔드포인트 활동
    • 오류 진단 - 공급자 vs 게이트웨이
    • 오류 참조
    • [New] 폴백 관리 엔드포인트
    • 클라이언트 헤더를 LLM API로 전달
    • GCP Memorystore IAM 인증
    • 글로벌 컨트롤 플레인
    • 가드레일 공급자: Aim Security
    • 가드레일 공급자: Akto
    • 가드레일 공급자: Alice
    • 가드레일 공급자: Aporia
    • Azure 콘텐츠 안전 가드레일
    • 배치 API 가드레일
    • 가드레일 공급자: Bedrock Guardrails
    • 가드레일 공급자: Cato Networks
    • 컨텍스트 압축
    • 가드레일 공급자: Conduct Guard
    • 가드레일 공급자: CrowdStrike AIDR
    • 가드레일 공급자: 커스텀 코드 가드레일
    • 가드레일 공급자: 커스텀 가드레일
    • 가드레일 공급자: DynamoAI Guardrails
    • 가드레일 공급자: EnkryptAI Guardrails
    • 가드레일 공급자: Gray Swan Cygnal Guardrail
    • 가드레일 로드 밸런싱
    • 가드레일 정책
    • 가드레일 공급자: Guardrails AI
    • 가드레일 공급자: HiddenLayer Guardrails
    • 가드레일 공급자: IBM Guardrails
    • 가드레일 공급자: Javelin Guardrails
    • 가드레일 공급자: Lakera AI
    • 가드레일 공급자: Lasso Security
    • LiteLLM 콘텐츠 필터
    • 가드레일 공급자: LLM-as-a-Judge
    • 가드레일 공급자: Microsoft 365
    • 가드레일 공급자: Microsoft Purview
    • 가드레일 공급자: Google Cloud Model Armor
    • 가드레일 공급자: Noma Security
    • 가드레일 공급자: Onyx Security
    • 가드레일 공급자: OpenAI Moderation
    • 가드레일 공급자: Pangea
    • 가드레일 공급자: Palo Alto Networks PRISM AIRS
    • PII 마스킹 v2
    • 가드레일 공급자: Pillar Security
    • 정책 플로우 빌더
    • 정책 태그
    • 정책 템플릿
    • PromptGuard
    • 인메모리 프롬프트 인젝션 탐지
    • 프롬프트 보안
    • Qohash의 Qostodian Nexus
    • Qualifire
    • 가드레일 - 빠른 시작
    • Realtime API 가드레일
    • RepelloAI Argus
    • Rubrik 가드레일
    • ✨ 비밀 감지/검열
    • 민감 데이터 라우팅
    • Straiker
    • 팀 BYO(Bring-Your-Own) 가드레일
    • 가드레일 테스트 플레이그라운드
    • LiteLLM 도구 권한 가드레일
    • 관련성 기반 압축
    • Vigil Guard
    • XecGuard
    • Zscaler AI Guard
    • 프롬프트 압축
    • 헬스 체크
    • 헬스 체크 기반 라우팅
    • 고처리량 워크로드 확장
    • 신원 프로비저닝과 키 발급
    • [베타] 분리된 ITPM / OTPM 레이트 리밋
    • IP 주소 필터링
    • OIDC로 모델 접근 제어하기
    • JWT → 가상 키 매핑
    • 키 기반 인증 동작 방식
    • [BETA] LiteLLM 관리형 파일
    • LiteLLM AI Gateway 프롬프트 관리
    • 프록시 로깅 (Proxy Logging)
    • StandardLoggingPayload 스펙
    • [BETA] LiteLLM 관리형 파일 - Batches 함께 쓰기
    • ✨ [BETA] LiteLLM 관리형 파일 - Finetuning 함께 쓰기
    • LiteLLM Proxy CLI
    • 메모리 관리
    • 💸 일일 지출·사용량 메트릭 조회
    • 모델 접근 제한
    • 모델 액세스 그룹 예산
    • 모델 접근 그룹
    • 모델 접근이 동작하는 방식
    • 모델 비교 플레이그라운드 UI
    • 모델 탐색
    • 모델 관리
    • ✨ 감사 로그
    • 멀티 리전 배포
    • LiteLLM 프롬프트 관리
    • OAuth 2.0 인증
    • 비수요 시간 가격
    • PagerDuty 알림
    • 패스 스루 엔드포인트 만들기
    • Pass-Through 비용 및 사용량 추적
    • 패스 스루 엔드포인트의 가드레일
    • 패스스루 관리형 ID
    • LiteLLM Proxy 성능
    • 플러그인
    • 가격 계산기
    • ✨ [Beta] 프로젝트 관리
    • 📈 Prometheus 메트릭
    • 프롬프트 관리
    • 공급자 할인
    • LLM 비용에 대한 수수료/가격 마진
    • Azure PTU 플랫 비용 귀속
    • 공개·비공개 라우트 제어
    • [BETA] 공개 팀
    • Grafana Pyroscope CPU 프로파일링
    • ✨ 예산 / 요율 제한 티어
    • /realtime — WebRTC 지원
    • Redis가 필요한 것
    • Redis 사이징
    • 클라이언트 측 메타데이터 태그 거부
    • 릴리스 주기
    • 요청 헤더
    • 프록시 내부: 하나의 요청이 지나가는 길
    • 지출 추적용 요청 태그
    • 응답 헤더
    • 호출 후 규칙
    • [베타] Rust AI 게이트웨이
    • SAML 2.0 SSO
    • 보안 모범 사례
    • LiteLLM 자체 호스팅 보안 & 암호화 FAQ
    • 내부 사용자 셀프 서비스
    • 로컬 LiteLLM Proxy 서버
    • 서버 튜닝
    • 서비스 계정
    • pod 간 공유 헬스 체크 상태
    • 지출 로그 보존 기간 최대값
    • Anthropic Beta 헤더 자동 동기화
    • 새 모델 자동 동기화
    • 태그 기반 라우팅
    • [DEPRECATED] 팀 기반 라우팅
    • 팀/키 기반 로깅
    • ✨ 팀이 모델을 추가하도록 허용하기
    • ✨ 임시 예산 증가
    • OIDC - JWT 기반 인증
    • 도구 정책
    • Admin UI 빠른 시작
    • 사용자 일괄 편집
    • 세션 로그
    • 내부 사용자 페이지 가시성 제어
    • ✨ [Beta] 프로젝트 관리 UI
    • 라우팅 그룹 관리
    • 검색 도구 - Admin UI
    • UI 지출 로그 설정
    • 팀 소프트 예산 알림
    • UI 로고 커스터마이징
    • 비관리형 Vertex AI 배치
    • Langchain, OpenAI SDK, LlamaIndex, Instructor, Curl 예시
    • 사용자 관리 계층 구조
    • 사용자 온보딩 가이드
    • 예산 및 속도 제한
    • Google AI Studio를 이용한 Veo 비디오 생성
    • 워커 시작 훅
    • LiteLLM 프록시 퀵 스타트
    • /rag/ingest
    • /rag/query
    • /realtime
    • 추론 콘텐츠
    • /rerank
    • /responses
    • /responses/compact
    • LiteLLM Performance Roadmap
    • Router: 로드밸런싱·폴백·재시도 개념
    • 라우팅과 로드 밸런싱
    • 라우팅 플러그인
    • 규칙
    • 샌드박스 / 코드 실행
    • [BETA] 요청 우선순위화
    • 로그 데이터 scrub하기 — Langfuse로 보내기 전에 PII를 가리자
    • 커스텀 가격 - SageMaker, Azure 등
    • SDK로 시작하기: LiteLLM을 코드에 직접 붙이는 방식
    • /search 개요
    • Amazon Bedrock AgentCore 웹 검색
    • APISerpent 검색
    • Bing 검색 접지
    • Brave 검색
    • DataForSEO 검색
    • Exa AI 검색
    • Firecrawl 검색
    • Google Programmable Search Engine
    • Linkup 검색
    • Nimble 검색
    • Parallel AI 검색
    • Perplexity AI 검색
    • SearchAPI.io 검색
    • SearXNG 검색
    • Serper 검색
    • Tavily 검색
    • You.com 검색
    • 시크릿 매니저 개요
    • AWS KMS
    • AWS Secret Manager
    • Azure Key Vault
    • 커스텀 비밀 관리자
    • CyberArk
    • Google KMS
    • Google Secret Manager
    • Hashicorp Vault
    • 시크릿 매니저 활용하기
    • API 키·베이스·버전 설정하기
    • 공동 책임 모델
    • LiteLLM 프록시
    • /skills - Anthropic 스킬 API
    • 스킬 게이트웨이
    • 지출 추적 (Spend Tracking)
    • LiteLLM에서 스트리밍과 비동기 호출하기
    • LiteLLM 프록시가 노출하는 지원 엔드포인트 개요
    • LiteLLM 태그 예산 설정
    • LiteLLM 팀 예산 설정
    • text_completion() / /completions
    • speech() / /audio/speech
    • A/B 테스트 - 트래픽 미러링
    • 문제 해결
    • 비용 불일치
    • CPU 문제
    • 지연 시간 오버헤드
    • 최대 콜백
    • 메모리 문제
    • 모델 누락
    • Pip/Venv 업그레이드
    • Prisma 마이그레이션
    • 롤백
    • 지출 큐 경고
    • UI 문제
    • 튜토리얼
    • Anthropic 파일 사용
    • Azure OpenAI 설정
    • Claude Agent SDK
    • Claude Code Autorouter
    • Claude Code Beta 헤더
    • Claude Code 예산 상태줄
    • Claude Code BYOK
    • Claude Code 고객 추적
    • Claude Code 비용 절감
    • Claude Code Gateway
    • Claude Code Max 구독 사용하기
    • Okta SSO(JWT 인증)로 Claude Code 사용하기
    • Claude Code 플러그인 마켓플레이스
    • Claude Code - 프롬프트 캐시 라우팅
    • LiteLLM 스킬
    • Claude Code - 모든 제공자에서 WebSearch 사용하기
    • Claude Desktop
    • MCP와 함께 Claude Code 사용하기
    • 비-Anthropic 모델과 함께 Claude Code 사용하기
    • Claude Code Quickstart
    • LLM 벤치마크하기
    • LiteLLM으로 테스트 세트에서 LLM 비교하기
    • CopilotKit SDK with LiteLLM
    • 코딩 도구 사용량 추적하기
    • Cursor 통합
    • AI 탐색을 위한 사용자 온보딩
    • LiteLLM과 함께 Elasticsearch 로깅 사용하기
    • LLM 평가하기 - MLflow Evals, Auto Eval
    • completion()을 Fallbacks(Failover)로 안정성 확보하기
    • Responses API에서의 File Search
    • Fine-Tuned gpt-3.5-turbo 사용하기
    • 첫 번째 LLM Playground 만들기
    • 오디오 입출력으로 Gemini Realtime API 호출하기
    • 환경 설정
    • GitHub Copilot / VS Code
    • Google ADK와 LiteLLM
    • Google GenAI SDK와 LiteLLM
    • Gradio Chatbot + LiteLLM 튜토리얼
    • CodeLlama - Code Infilling
    • Llama2 - Huggingface 튜토리얼
    • 환경 설정
    • Instructor
    • Gemini CLI
    • Aporia Guardrails와 LiteLLM Gateway
    • Qwen Code CLI
    • LiteLLM으로 여러 LLM 제공자 신뢰성 테스트
    • LiveKit xAI Realtime Voice Agent
    • LLM 벤치마크 - LM Harness, FastEval, Flask
    • Mock Completion 응답 - 테스팅 비용 절약
    • OpenAI 호환 서버에서 프롬프트 템플릿 커스터마이즈
    • 모델 Fallbacks
    • MongoDB의 샘플 문서와 채팅하기
    • Microsoft SSO: Groups, Members를 LiteLLM과 동기화
    • Elasticsearch Logging with LiteLLM
    • Oobabooga Text Web API 튜토리얼
    • OpenAI Agents SDK with LiteLLM
    • OpenClaw + LiteLLM 통합
    • OpenCode 빠른 시작
    • Open WebUI
    • Presidio PII Masking with LiteLLM - 완전한 튜토리얼
    • 프롬프트 캐싱 체크포인트 자동 주입
    • provider_specific_params
    • OpenAI ChatCompletion을 Completion()으로 대체하기
    • AI 탐색을 위한 사용자 온보딩
    • 프롬프트 캐싱 체크포인트 자동 주입
    • Gradio Chatbot + LiteLLM 튜토리얼
    • Retool Assist
    • Scalekit with LiteLLM
    • SCIM with LiteLLM
    • [Beta] 요청 메타데이터 기반 라우팅
    • Text Completion 형식 사용하기 - Completion() 사용
    • Llama2 Together AI 튜토리얼
    • Vertex AI PayGo and Priority
    • UI 로그 시작하기 (UI Logs)
    • 토큰 사용량
    • /vector_stores/{vector_store_id}/files
    • Vector Stores - 개요
    • /vector_stores - Create Vector Store
    • LiteLLM Managed Vector Stores
    • Search Vector Store
    • Vertex AI
    • /batchPredictionJobs
    • /videos
    • 가상 키
    • LiteLLM에서 비전(Vision) 모델 사용하기
    • 제공자 특정 Wildcard 라우팅
기술 스택AI·LLM 통합 (AI & LLM)LiteLLM (LLM 게이트웨이/프록시) › › ›

Project

목차
Project (프로젝트)본문

Project (프로젝트)

LiteLLM의 프로젝트 관련 문서 페이지예요.

출처: 문서

본문

⚠️ 이 페이지는 본문 콘텐츠가 로드되지 않아(빈/리다이렉트 페이지) 이번 배치에서 번역을 완료하지 못했어요. 원문 내용 확인은 원본 문서를 참고해 주세요.

Project (프로젝트)본문
DataSketchers AI·데이터·디자인으로 기업의 디지털 전환을 지원합니다. 서울시립대학교 캠퍼스타운 창업기업
회사소개 사업영역 D-SKET 고객사 블로그 위키 보도자료 ESG 문의
© 데이터스케쳐스. All rights reserved. 사업자등록번호 349-81-03411