AI Connections용 Throttling & Retries
AI Connections용 Throttling & Retries
AI connection의 요청 동시성·타임아웃·재시도를 조정하는 설정이에요.
출처: 문서
본문
개요 (Overview)
이 설정들은 Confident AI가 AI Connection 엔드포인트로 요청을 보내는 방식을 제어해요 — 응답을 얼마나 기다릴지, 한 번에 몇 개의 요청을 보낼지, 실패 시 몇 번 재시도할지요. 이를 조정해 대규모 평가 런이 AI 앱을 압도하지 않으면서도 일시적 오류에 회복력 있게 대응하게 만들 수 있어요.
Tune timeout, concurrency, and retries
요청 타임아웃 (Request Timeout)
Confident AI가 타임아웃되기 전에 엔드포인트가 응답할 때까지 기다리는 최대 시간(초)을 설정해요. AI connection이 느리거나 응답이 없어도 평가가 무한정 멈추지 않게 해줘요.
- 최소: 1초
- 기본값: 60초
AI 앱이 복잡한 작업을 하거나 외부 서비스를 호출한다면, 조기 실패를 피하기 위해 타임아웃을 늘려야 할 수 있어요.
최대 동시성 (Max Concurrency)
Confident AI가 엔드포인트에 동시에 보내는 최대 요청 수를 설정해요. 대규모 평가 런 중에 AI 앱을 압도하지 않게 해줘요.
- 최소: 1
- 기본값: 20
최대 재시도 (Max Retries)
실패한 요청을 엔드포인트에 재시도하는 최대 횟수를 설정해요. 평가 전체를 실패시키지 않고 일시적 오류를 처리하는 데 도움돼요.
- 최소: 0
- 기본값: 0
다음 단계 (Next Steps)
throttling과 retries를 조정했으니, 이제 엔드포인트를 보호하고 결과를 트레이스에 연결해 보세요.
Authorization
시크릿 매니저와 Auth0 또는 HMAC 인증으로 요청을 보호해요.
Linking Traces
테스트 케이스와 턴을 그 트레이스에 연결해 완전한 관측성을 확보해요.