OpenAI Batch API — 일괄 처리가 비용을 절반으로
OpenAI Batch API — 일괄 처리가 비용을 절반으로
OpenAI의 Batch API 는 많은 요청을 한 번에 모아 비동기로 처리하는 서비스예요. 실시간 응답이 필요 없는 작업에 적합하고, 완료되는 데 최대 24시간이 걸려요. 대신 비용이 50%까지 줄어들어요.
동작 흐름
- 요청들을 JSONL 파일로 준비해요. 각 줄이 하나의 채팅 완성 요청이에요.
- 업로드한 파일(
batch input file)로 배치 작업을 만들고status=generating을 확인해요. - 작업이 완료되면 결과 파일(
batch output file)을 내려받아요.
어떤 작업에 쓰나요
- 정확도 실험: 여러 프롬프트 변형을 대량으로 평가할 때.
- 평가 및 분류: 멀티클래스 분류, 감성 분석 같은 대량 처리.
- 문서 처리·요약: 실시간이 아닌 수천 건의 작업.
특징
배치 내 요청은 독립적으로 상태를 관리하고, 개별 요청 실패가 전체에 영향을 주지 않아요. 배치에 딱 맞지 않는 실시간 작업은 일반 엔드포인트를 쓰는 게 좋아요.