Auto Router 기능 히스토리

모든 릴리스는 GitHub 릴리스와 전체 릴리스 노트로 연결됩니다. 최신이 먼저예요. 어떤 버전 아래 나열된 기능은 그 버전부터 사용 가능합니다.

다음 예정 (Coming Next)

v1.103.0-rc.1이 잘린 후 main에 병합되었으며, 그 릴리스 후보에는 포함되지 않아요. 아래 태그된 릴리스에 나타날 때까지 링크된 PR이 들어 있는 빌드를 사용하세요.

네이티브 컨텍스트 압축이 기본 활성화. 전체 대화 기록이 있는 지원 요청에서, 선택된 모델의 입력 한도 근처에 있는 오래된 턴을 요약해 그 모델이 계속 요청을 제공하게 합니다. Chat Completions, Responses, Messages 전반에서 동작하며, 자격 있는 네이티브 컴팩터가 필요하고 별도로 청구되는 호출이 추가돼요. context_compaction: false로 비활성화할 수 있어요. 저장되거나 불투명한 네이티브 히스토리는 클라이언트 관리로 남습니다. #42074
컨텍스트 창 상향이 옵트인으로. enable_context_window_escalation을 생략하면 더 이상 긴 요청이 자동으로 더 큰 티어로 이동하지 않아요. 자동 상향을 유지하려면 true로 설정하세요. #41872
구성 가능한 Heuristic v2 임계값. configuration 또는 대시보드에서 heuristic_v2_success_threshold를 설정해 티어 선택의 최소 예상 성공률을 제어하세요. 지우면 학습된 아티팩트의 기본값으로 복원됩니다. #42252
JEV 대시보드 설정과 연결 검사. LLM 분류기 옆에 JEV를 구성하고, 편집을 거쳐도 설정을 보존하며, 티어 모델과 분리해 분류기를 테스트하세요. 유료 라우팅 미리보기는 가상 키 예산을 강제하고, 암호화된 위임 작업은 JEV 비용 없이 구성된 폴백을 사용합니다. #41886, #41879
Capability 및 Fuse 예측 상세. 요청 로그에 Capability의 해결 확률과 임계값, 또는 두 Fuse 해결기(솔버)의 확률과 품질 격차를 보여줘요. 건강 상태나 모달리티 규칙이 최종 배치를 바꿀 때도 예측은 계속 보입니다. #42057
대시보드의 고급 설정. 휴리스틱 키워드 오버라이드, 하우스키핑 라우팅, 리마인더 마커, plan-mode 센티널, 출력 토큰 상한, 커스텀 분류기 타임아웃을 편집하세요. 관련 없는 변경을 저장해도 이 설정은 보존됩니다. #42293
내부 사용자 절감과 사용량. 관리자는 내부 사용자의 Savings와 Auto-router 사용량 탭을 검사할 수 있어요(JWT로 귀속된 트래픽 포함). 다른 사용자는 자신의 Savings를 볼 수 있고, 라우터 사용량은 관리자 전용입니다. #42026
이동하는 브레이크포인트에 걸친 프롬프트 캐시 어피니티. prompt_caching 사전 호출 검사가 활성화되면, Claude Code가 캐시 브레이크포인트를 더 새로운 턴으로 옮겨도 배포 어피니티가 살아남아 프로바이더의 캐시된 접두사를 보존하는 데 도움이 됩니다. #42080

v1.103.0-rc.1 (릴리스 후보)

GitHub pre-release, Release notes

이 릴리스 후보까지의 1.103.x 개발 빌드에서 온 Auto Router 개선을 포함합니다. 이전 개발 빌드는 아래의 모든 변경을 포함하지 않을 수 있어요.

Capability 분류. classifier_type: capability 는 효율 해결기가 전체 작업을 끝낼 수 있는지 예측하고, 추정치가 구성된 임계값 아래로 떨어지면 유능한(capable) 티어로 라우팅합니다. #41270
Fuse v2 분류 (실험). classifier_type: llm_v2 는 한 번의 판정 호출로 두 해결기를 모두 예측한 뒤, 품질 격차 정책으로 둘 사이를 선택합니다. 잘못된 예측과 프로바이더 오류는 유능한 해결기로 폴백합니다. #41272
Capability 및 Fuse 대시보드 설정. 전용 탭에서 효율·유능·판정 모델을 구성하고, 예측 정책 제어와 고급 라우팅 옵션을 설정하세요. 두 폼 중 하나를 저장하면 어댑티브 라우팅, 컨텍스트 창 상향, 상향 키워드가 비활성화됩니다. #41315, #41371
Fuse 모델 및 하네스 프리셋. YAML, API, 대시보드에서 유지 관리되는 해결기와 하네스 설명을 선택하고, 그 텍스트를 미리 보거나 커스텀 설명으로 대체할 수 있어요. #41617
TypeSafe JEV 분류기. classifier_type: jev 는 JEV로 복잡도 티어를 선택하고 확률, 신뢰도, 분류기 비용을 기록합니다. 실패는 기존 분류기 폴백과 회로 차단기를 사용합니다. #41615
모델별 Fast 모드. 지원 티어 모델에서 reasoning effort 옆에 Fast 토글을 모델별로 독립 설정할 수 있어요. #41282
각 티어 내 모델 어피니티. 배포 어피니티가 활성화되면, 세션이 티어로 돌아올 때 선택한 자격 있는 모델을 재사용합니다. Redis는 티어 재분류가 활성화된 동안 그 선택을 워커 간에 공유합니다. #41174
팀 멤버 라우터 관리. 관리자는 팀에 /auto_router/manage를 활성화해 멤버가 접근이 허용된 모델로 라우터를 만들고 자체 구성을 편집하게 할 수 있어요. #41175
더 정확한 절감 추정. 기준선 비용은 내구성 있는 캐시 접두사 히스토리와 만료를 사용하고, 라우팅이 갈라지기 전의 관측 비용을 보존하며, 불가능한 추정치는 unknown으로 표시합니다. Anthropic Fast 모드와 지리적 가격 수정자도 포함됩니다. #41177, #41341
Heuristic v2 점수 가시성. 라우팅 상세는 메시지 로깅이 꺼져 있어도 예상 성공률, 임계값, 예측 티어를 보여줘요. 예측은 라우팅 오버라이드 후의 최종 티어와 별개로 유지됩니다. #42001
코딩 에이전트 세션 피드백. LLM API 키는 자체 라우터 세션 통계를 읽을 수 있어요. Claude Code는 기록된 제공 모델을 보여주고, Claude Code와 Codex 모두 실제 지출을 라우터 이름으로 라벨링합니다. #41116, #41186
CLI 명령 이름. lite autoroute start 와 lite autoroute stop 을 사용하세요. up과 down은 사용 중단된 별칭으로 남아요. #41672
Capability 및 Fuse 라이선스 한도. auto_router 엔타이틀먼트 없이 Capability 라우터 하나와 Fuse v2 라우터 하나를 사용할 수 있어요. 두 유형 모두 추가 라우터에는 필요합니다. #41326

v1.102.0

GitHub release, Release notes

하네스 인지 분류(harness-aware classification). Claude Code 시스템 텍스트를 생략하고 Codex 리마인더 봉투를 분류에서 제거하면서 위임 작업과 원래 라우팅된 요청은 보존합니다. #40655, #40599
암호화된 위임 작업. 네이티브 OpenAI/Azure OpenAI Responses 분류기 호출에서 암호화된 작업 블록을 보존합니다. 지원되지 않는 배포와 복호화 오류는 classifier_fallback 을 따릅니다. #40608
분류기 입력 로그. Classify 행에서 프로바이더로 향하는 분류기 입력, 마스킹된 원래 요청, 분류기 응답을 별도로 검사하세요. #40604
Heuristic v1 튜닝. auto_router 라이선스 기능 없이 튜닝된 라우터 하나를 편집할 수 있습니다. #39952
더 빠른 의미적 콜드 스타트. 첫 라우트 레이어를 이벤트 루프 밖에서 한 번에 빌드합니다. #39954
어댑티브 라우터 수정. model_info 에서 모델 가격을 읽고 재시작 간 밴딧 prior을 보존합니다. #39957, #39955
교차 프로바이더 도구 히스토리. /v1/messages 가 OpenAI와 Anthropic 티어 간에 tool_use 블록을 재생할 수 있습니다. #39967

이 릴리스에는 또한: 선언적 커스텀 휴리스틱 차원과 대시보드 가중치 편집 #40156, #40205; 선택적 NON_REASONING 티어 #40273; 티어 모델 출력 한도 #40209; 티어가 요청을 제공할 수 없을 때 healthy-default 폴백 #40757; Claude Code와 Codex의 라우팅된 모델과 세션 절감 #40330; 응답 헤더의 티어·cause·점수·reasoning effort #40792.

Harness-aware routing update

v1.101.0

GitHub release, Release notes

휴리스틱 분류기. heuristic_v2 는 로컬에서 라우팅하고, hybrid 는 티어 경계 근처에서 LLM을 호출합니다. #39276, #39403. 포스트
컨텍스트 및 사용자 턴 라우팅. 과도하게 큰 프롬프트를 티어에 맞추고, 구성 시 새 사용자 턴만 분류합니다. #38844, #38861, UI #39042, #39054
이미지 라우팅. 이미지를 비전 가능 티어로 보내고 선택적으로 분류기가 읽게 합니다. #39032, #39454, #39825, UI #39059, #39840
지연 상향(Stall escalation). 에이전트가 도구 호출이나 오류를 반복하면 요청을 한 티어 올립니다. #39809. 포스트
분류기 제어. 분류기 reasoning effort, 전체 타임아웃, 반복 타임아웃용 회로 차단기를 설정하세요. #39372, #39696, #39701
티어 장애 조치와 압축. 티어가 쿨다운되면 라이브 피어를 사용하고, 라우팅 또는 모델 홉별로 압축을 선택합니다. #39675, #39823. 포스트
섀도 평가 타게팅. 팀·사용자·모델 그룹을 대상으로 하고, 라우터 최대 4개를 비교하며, 도구 호출 턴을 판정합니다. #39015, #39028, #39817, #39818, #39828
설정과 프롬프트 편집. 기존 모델에서 모든 티어를 구성하고, 내장 프롬프트를 섹션별로 편집하며, UI에서 세션 어피니티 TTL을 설정하세요. #39679, #39688, #39693
프리셋. 1M Context 프리셋 추가, OpenAI Family 업데이트, 런타임에 카탈로그 제공. #39412, #39490, #39396, #39797
Claude Code 지원. 선택한 라우터를 통해 하위 에이전트를 라우팅하고, /v1/models 에서 모드를 노출하며, 라우팅 임베딩을 호출자에게 청구합니다. #39239, #39619, #39532
Breaking 변경. auto_router 라이선스 기능이 커스터마이제이션을 계량하고, 섀도 평가 결과가 핵심 필드를 이름 변경합니다. #39468, #39674, #39015

포스트: Route on Context Size and Modality, Mid-Task Stall Escalation, Per-Hop Compression.

v1.100.0

GitHub release, Release notes

커스텀 티어 세트. LLM 분류기용 자체 티어를 정의하고, 정확한 분류기 프롬프트를 미리 보며, 키워드 규칙이 이름 변경을 따릅니다. #38602, #38603, #38605.
휴리스틱 우선 체이닝. classifier_type: heuristic_first 는 로컬에서 점수를 매기고 필요할 때만 LLM 분류기를 호출합니다. #38428.
분류기 컨텍스트 예산. 턴 간 캐릭터 예산이 턴당 200자 클립을 대체합니다. #38141, #38145.
하우스키핑 프롬프트는 분류기를 건너뜀. 클라이언트 하우스키핑 메시지는 분류기 호출 없이 가장 저렴한 티어로 갑니다. #38598.
Gemini Family 프리셋; Lite와 Anthropic 프리셋의 티어별 reasoning effort. #38138, #38482, #38490.
저장 전 드라이런 검증. UI는 /auto_router/validate_complexity_router_config 로 config를 검증하고, /auto_router/test_routing 은 실제 요청 본문을 받습니다. #38595.
티어 고정 reasoning effort 우선. 티어의 reasoning_effort 가 클라이언트 캐리어를 무시하고, 지원되지 않는 티어 params는 티어를 실패시키는 대신 버려집니다. #38622, #38698.
분류기 비용 계산. 절감 수치, 벤치마크, 섀도 평가가 라우터 자체 분류기 비용을 차감합니다. #38835, #38631.
모델에서 라우터 건강 상태. 티어·기본·분류기 모델이 제공할 수 없으면 라우터가 플래그됩니다. #37966, #38174.
model_group_alias 가 auto-router에서 동작. #38272, #38382.
Breaking. complexity_router_config 밖에 놓인 설정은 거부됩니다(#38570). router_model_name 제거, return_raw_model_name 사용(#38429). autorouter_savings_baseline_model 삭제, 각 라우터는 가장 어려운 티어에서 기준선을 파생(#38700).

v1.99.0

GitHub release, Release notes

LLM 분류기용 운영자 정의 티어 세트. #37226.
커스텀 분류기 플러그인. classifier_type: custom 과 자체 classify() 의 점(.) 경로. #37249.
코딩 에이전트 클라이언트용 plan-mode 티어 플로어. #37230.
티어 편집기의 티어별 litellm_params 와 모델별 reasoning effort. #37064, #37673.
비즈니스 분류 루브릭 프리셋. #37534.
Lite 프리셋(혼합 프로바이더)과 UI의 휴리스틱 스코어러 설정. #37068, #37216.
섀도 평가: 작업당 여러 키, 달러 예산. api_key_ids 가 api_key_id 를 대체하고 max_budget 가 max_turns 를 대체(breaking). #37251, #37555.
auto-router를 통한 Responses API 입력 라우팅. #37333.
콜백과 키당 절감. 요청별 절감이 로깅 콜백에 도달하고, 키 페이지에 Savings 탭. #37894, #37693.

v1.98.0

GitHub release, Release notes

섀도 평가. 한 키의 라이브 트래픽을 샘플링하고, 응답을 제공하지 않고 라우터로 재생하며, 블라인드 LLM 판정, 역방향 모드, /v1/messages 와 /v1/responses. #36587, #36830, #36865. UI #36588, #36994. 포스트.
작업 예시가 있는 보정된 분류기 루브릭, 라우터별 선택 가능; 시스템 프롬프트 텍스트는 더 이상 점수화되지 않습니다. #36578, #36721.
UI의 배포 어피니티 토글; 벤치마크 차트에서 각 티어 아래 모델 표시. #36302, #36291.
태그 라우팅 게이트. Required-AND 태그 접두사, allow_fail_open, 태그된 사전 라우팅 전략을 태그 없는 요청이 우회. #36193, #36627, #36628.

v1.97.0

GitHub release, Release notes

배포 어피니티 기본 활성화(breaking). 모델 그룹으로 돌아오는 세션은 이전에 사용한 배포에 착지하므로 프로바이더 캐시가 따뜻하게 유지됩니다. deployment_affinity: false 가 이전 동작을 복원합니다. #36146.
세션 어피니티 기본 비활성화, UI에 노출. #35714.
Savings 및 usage 탭. Cost Optimization의 순(auto-router) 절감, 가장 어려운 티어에서 파생된 기준선, 세션별 롤업, 티어별 턴. #35522, #35995, #35521, #35907, #35910, #36209. 포스트.
routing_decision 과 x-litellm-classifier-cost 헤더의 요청당 분류기 비용. #36015.
1클릭 프리셋과 Test Routing. Add Auto Router는 이름 + 템플릿이고, Test Routing은 저장 전 선택을 보여주며, 프리셋은 기본 모델 ID로 배포를 매칭합니다. #35746, #35859, #35972, #36111. 포스트.
대체 가능한 분류기 프롬프트와 티어 이름. #35855, #35893.

v1.96.0

GitHub release, Release notes

분류기 컨텍스트 창. LLM 분류기가 이전 턴을 봅니다(classifier_context_window_size, 기본 3). #35185. 포스트.
assistant 턴 선택 포함(classifier_context_include_assistant_turns). #35471.
라우팅 결정 기록. 티어, cause, 분류기 요청 본문이 spend logs와 로그 서랍에 기록되고, 라우터 자체 분류기 호출이 표시됩니다. #35016, #35164, #35300, #35304.
Auto 라우터가 Models + Endpoints에 자체 탭을 얻고, 컨텍스트 창 필드 포함. #35009, #35315, #35500.

v1.95.0

GitHub release, Release notes

return_raw_model_name . 별칭 대신 응답 본문 model 필드에 고른 모델을 둡니다. #33875.
로그가 라우터를 표시. 로그 서랍과 세션 사이드바가 auto-router가 제공한 요청을 표시합니다. #34434.

v1.94.0

GitHub release, Release notes

Auto Router v2. 하나의 auto_router/complexity_router 에 복잡도·의미·어댑티브 라우팅. 포스트.
라우터 플러그인. Router(plugins=[...]) , 프록시 config에서 해석 가능. #32972, #33251, #33644. 포스트.
티어 풀. 소프트 플로어 어댑티브 모드와 랜덤 선택 멀티 모델 티어. #32947, #32967.
세션 어피니티. 세션을 첫 턴 모델에 고정. #33126, #33500, #33723.
상향 키워드와 티어별 의미 키워드 프롬프트. #33656, #33508.
Cost Optimization 페이지(베타)의 Autorouter 탭. #33899.
auto 라우터용 Test Connection. #32950, #33146.

출처: 문서

Auto Router 기능 히스토리