Anthropic Beta 헤더 자동 동기화

Anthropic Beta 헤더 자동 동기화 (Auto Sync Anthropic Beta Headers)

서비스를 재시작하지 않고도 Anthropic beta 헤더 구성을 자동으로 최신 상태로 유지해요. 이를 통해 모든 제공자에서 새 Anthropic beta 기능을 서비스 재시작 없이 지원할 수 있어요.

개요

Anthropic이 새 beta 기능(예: 새 도구 기능, 확장된 컨텍스트 창)을 출시하면, 보통 각 제공자(Anthropic, Bedrock, Vertex AI, Azure AI)에 대한 최신 beta 헤더 매핑을 얻기 위해 LiteLLM 서비스를 재시작해야 했어요.

자동 동기화를 사용하면 LiteLLM이 재시작 없이 GitHub의 anthropic_beta_headers_config.json에서 최신 구성을 자동으로 가져와요. 즉:

새 beta 기능이 출시될 때 제로 다운타임
항상 최신 제공자 지원 매핑
자동 업데이트 — 한 번 설정해 두고 잊어버리세요

빠른 시작

수동 동기화:

    curl -X POST "https://your-proxy-url/reload/anthropic_beta_headers" \  
      -H "Authorization: Bearer ***" \  
      -H "Content-Type: application/json"

24시간마다 자동 동기화:

    curl -X POST "https://your-proxy-url/schedule/anthropic_beta_headers_reload?hours=24" \  
      -H "Authorization: Bearer ***" \  
      -H "Content-Type: application/json"

API 엔드포인트

엔드포인트	메서드	설명
`/reload/anthropic_beta_headers`	POST	수동 동기화
`/schedule/anthropic_beta_headers_reload?hours={hours}`	POST	주기적 동기화 스케줄
`/schedule/anthropic_beta_headers_reload`	DELETE	예약된 동기화 취소
`/schedule/anthropic_beta_headers_reload/status`	GET	동기화 상태 확인

인증: admin 역할 또는 master key 필요

Python 예시

    import requests  
      
    def sync_anthropic_beta_headers(proxy_url, admin_token):  
        response = requests.post(  
            f"{proxy_url}/reload/anthropic_beta_headers",  
            headers={"Authorization": f"Bearer {admin_token}"}  
        )  
        return response.json()  
      
    # Usage  
    result = sync_anthropic_beta_headers("https://your-proxy-url", "your-admin-token")  
    print(result['message'])

구성

커스텀 beta 헤더 구성 URL:

    export LITELLM_ANTHROPIC_BETA_HEADERS_URL="https://raw.githubusercontent.com/BerriAI/litellm/main/litellm/anthropic_beta_headers_config.json"

로컬 beta 헤더 구성 사용:

    export LITELLM_LOCAL_ANTHROPIC_BETA_HEADERS=True

자동 리로드 스케줄링

프록시가 항상 최신 beta 헤더 매핑을 갖도록 자동 리로드를 스케줄링하세요:

    # Reload every 24 hours  
    curl -X POST "https://your-proxy-url/schedule/anthropic_beta_headers_reload?hours=24" \  
      -H "Authorization: Bearer ***"

리로드 상태 확인:

    curl -X GET "https://your-proxy-url/schedule/anthropic_beta_headers_reload/status" \  
      -H "Authorization: Bearer ***"

응답:

    {  
      "scheduled": true,  
      "interval_hours": 24,  
      "last_run": "2026-02-13T10:00:00",  
      "next_run": "2026-02-14T10:00:00"  
    }

예약된 리로드 취소:

    curl -X DELETE "https://your-proxy-url/schedule/anthropic_beta_headers_reload" \  
      -H "Authorization: Bearer ***"

환경 변수

변수	설명	기본값
`LITELLM_ANTHROPIC_BETA_HEADERS_URL`	beta 헤더 구성을 가져올 URL	GitHub main 분기
`LITELLM_LOCAL_ANTHROPIC_BETA_HEADERS`	`True`로 설정하면 로컬 구성만 사용	`False`

동작 방식

초기 로드: 시작 시 LiteLLM이 원격 URL(또는 구성된 경우 로컬 파일)에서 beta 헤더 구성을 로드
캐싱: 구성은 매 요청마다 반복 fetch를 피하기 위해 메모리에 캐시
예약 리로드: 구성된 경우 프록시가 10초마다 일정에 따라 리로드할 때인지 확인
수동 리로드: API 엔드포인트로 즉시 리로드를 트리거할 수 있음
멀티 pod 지원: 멀티 pod 배포에서 리로드 구성이 데이터베이스에 저장되어 모든 pod가 동기화 유지

이점

재시작 불필요: 다운타임 없이 새 Anthropic beta 기능 지원 추가
제공자 호환성: Bedrock, Vertex AI, Azure AI 등에 대한 업데이트된 매핑 자동 획득
성능: 구성은 캐시되고 필요할 때만 리로드
신뢰성: 원격 fetch가 실패하면 로컬 구성으로 폴백

Anthropic Beta 헤더 자동 동기화