Anthropic Streaming — 스트리밍 응답의 이벤트 구조
Anthropic Streaming — 스트리밍 응답의 이벤트 구조
Anthropic API는 stream: true 를 보내면 모델 출력이 토큰 단위로 스트리밍돼요. 채팅 지연을 크게 줄이고, 생성이 진행되는 대로 사용자에게 화면을 갱신해 보여줄 수 있어요.
왜 스트리밍인가
전체 응답을 기다리면 긴 출력일수록 체감 지연이 커요. 스트리밍은 첫 토큰이 만들어지는 순간부터 받을 수 있어 대화형 UX(타자기 효과, 부분 응답 표시)를 구현하기 좋아요.
동작 방식
요청에 stream: true 플래그를 추가하면 응답이 하나의 완결된 JSON이 아니라 일련의 SSE 이벤트로 나뉘어 내려와요. 각 이벤트는 메시지 시작, 델타(증분 텍스트), 완료 같은 상태를 담아요.
활용 포인트
- 생성이 끝나기 전에 일부 토큰을 렌더링해 체감 속도를 높여요.
- 긴 문서·코드 생성에서 진행 상황을 보여주는 데 유용해요.
- 토큰 단위 델타를 모아 최종 메시지를 재조립하는 게 일반적이에요.