Gemini Batch — 비동기와 동기 일괄 처리
Gemini Batch — 비동기와 동기 일괄 처리
Google의 Gemini API는 긴 일괄 작업용 비동기 배치와, 작은 규모에 쓰는 동기적 배치(VM 배치) 두 모드를 제공해요. 목적에 맞는 모드를 고르면 비용을 아낄 수 있어요.
비동기 배치(Batch API)
대량 요청을 Cloud Storage의 JSONL 파일에 담아 제출하면 서버에서 비동기로 처리해요.
- 완결 시간: 본격적인 배치 작업은 24시간 이내에 완료돼요.
- 비용 절감: 비동기 배치는 동기 추론 대비 약 50% 저렴해요.
- 용도: 요약·분류·데이터 변환 같은 대량 처리에 적합해요.
동기적 배치(VM 배치)
요청이 적을 때 Vertex AI의 VM 배치를 쓰면 대화형보다 저렴하게 처리할 수 있어요. 배치 추론 비용 정책이 따로 적용돼요. 비동기 배치의 오버헤드 없이 빠르게 끝나는 소규모 일괄 처리에 맞아요.
어떤 걸 고를까요
수만 건의 비실시간 작업은 비동기 배치, 그보다 작고 비교적 빨리 결과가 필요한 작업은 VM 배치(동기)를 쓰는 게 좋아요. 둘 다 공통 JSONL 스키마로 요청을 정의해요.