Anthropic Message Batches — 비동기 일괄 요청
Anthropic Message Batches — 비동기 일괄 요청
Anthropic의 Message Batches API 는 여러 요청을 모아 비동기로 처리하고 24시간 이내에 결과를 반환해요. 대량 작업에서 비용을 최대 50% 절약해요.
활용 사례
- 대규모 분류·추출: 실시간이 필요 없는 평가·라벨링 작업.
- 문서 처리·요약: 여러 문서를 한 번에 요약할 때.
- 컨텐츠 생성 및 QA: 정해진 시간 안에 완료되는 일괄 작업.
동작 방식
messages/batches 엔드포인트에 JSONL 형식의 요청 묶음을 제출해요. 각 항목은 고유 custom_id와 메시지 요청을 담아요. 작업은 백그라운드에서 처리되고, 상태를 조회하다 완료되면 결과를 받아요.
비용과 제약
동일한 입력 토큰 기준으로 대화형(messages) 요청의 50% 가격으로 이용할 수 있어요. 처리 지연(최대 24시간)을 허용하는 비실시간 작업에 적합해요. 실시간 사용자 대화는 기존 Messages API를 쓰는 게 맞아요.