MODEL_RATE_LIMIT

MODEL_RATE_LIMIT

현재 `langchainjs`(JavaScript/TypeScript)에서만 사용돼요.

주어진 시간 동안 모델 제공자가 허용하는 최대 요청 수에 도달해서 일시적으로 차단된 상태를 뜻하는 오류예요.

이 오류는 특정 시간 범위 안에서 모델 제공자가 허용하는 최대 요청 수를 초과해 일시적으로 차단될 때 발생해요. 이 제한은 일반적으로 일시적이며, 한도가 재설정되면 풀려요.

문제 해결 (Troubleshooting)

이 오류를 해결하려면 다음을 할 수 있어요:

  1. Rate Limiting 구현: 레이트 리미터(rate limiter)를 배포해 모델로 보내는 요청 빈도를 조절하세요.

  2. 응답 캐싱 구현: 모델 응답 캐싱을 사용해 반복되는 쿼리일 때 중복 요청을 줄이세요.

  3. 여러 제공자 사용: 애플리케이션 아키텍처가 지원한다면 여러 제공자에 요청을 분산하세요.

  4. 제공자에게 문의: 모델 제공자에 연락해 레이트 한도를 올려 달라고 요청하세요.

출처: 문서

본문

특정 시간 범위 안에서 모델 제공자가 허용하는 최대 요청 수를 초과해 일시적으로 차단되었을 때 발생해요. 제한은 일시적이며 한도가 재설정되면 풀려요. 레이트 리미터 배포, 응답 캐싱, 다중 제공자 분산, 제공자에 레이트 한도 상향 요청 등의 방법으로 해결할 수 있어요.

더 알아보기 (Learn more)