스트리밍 생성 — SSE로 토큰을 실시간 전송
스트리밍 생성
LLM 응답 전체를 기다리면 사용자가 오래 멈춰 있는 것처럼 느껴져요. 스트리밍은 생성되는 토큰을 Server-Sent Events(SSE)로 실시간 전송해서, 응답이 나오는 대로 사용자에게 보여주는 방식이에요. 대화형 제품의 체감 속도를 크게 올려줘요.
작동 방식
서버가 토큰이 생성될 때마다 SSE 이벤트로 전송하고, 클라이언트는 첫 토큰부터 즉시 렌더링해요. 전체 완료를 기다리지 않으므로 '첫 응답까지의 시간'이 아주 짧아 보여요.
# 개념적 호출
curl <tgi-endpoint>/generate_stream -H "Content-Type: application/json" -d '{"inputs":"Once upon a time,","parameters":{"max_new_tokens":50}}'
왜 중요한가
- 사용자 체감 지연(첫 토큰까지)이 급감
- 긴 생성도 자연스럽게 이어지는 UX
- 배칭·청크 단위 비용 관리와 결합 가능