RouteLLM — 데이터로 학습한 라우터
RouteLLM — 데이터로 학습한 라우터
RouteLLM은 LMSYS에서 만든 학습 기반 LLM 라우터예요. 수동 규칙 대신 강화학습(RL)으로 "이 질문은 어느 모델로 보낼까"를 배워, 비싼 모델 호출을 아끼면서도 응답 품질을 유지해요.
아이디어
두 모델 사이를 오갈 때, 쉬운 질문은 저렴한 모델로, 어려운 질문만 비싼 모델로 보내는 게 목표예요. 라우터는 질문을 보고 각 모델 기대 품질을 예측해요.
특징
- 보상 기반 학습: 과거 쿼리와 대조 응답으로 라우팅 정책을 강화학습으로 최적화해요.
- 저비용 유지: 대부분의 요청을 소형 모델로 보내 비용을 크게 줄여요.
- 품질 보존: 어려운 쿼리는 고성능 모델로 보내 응답 품질을 지켜요.
시작하기
pip install routellm 으로 설치하고 요청에 라우터를 얹으면 돼요. 라우터는 프록시 형태로 OpenAI 호환 API로 붙을 수 있어 독립형 도구 라우팅에도 쓸 수 있어요.