Azure OpenAI 스트리밍이 느려요

Azure OpenAI 스트리밍이 느려요 (Azure OpenAI Slow To Stream)

Azure에 호스팅된 OpenAI를 쓸 때 스트리밍이 느리고 큰 단위(chunk)로 나오는 문제와 해결 방법을 알려드려요.

출처: 문서

본문

문제 (Issue)

Azure에 호스팅된 OpenAI를 사용할 때 스트리밍이 느리고 큰 단위로 나와요.

원인 (Cause)

이것은 Microsoft Azure 쪽 문제예요. 일부 사용자가 다음 해결책을 보고했어요:

  • 콘텐츠 필터링 설정 업데이트: Azure AI Studio 안의 "Shared resources" > "Content filters"에서 새 콘텐츠 필터를 만들고, "Output filter" 아래의 "Streaming mode (Preview)"를 "Default"에서 "Asynchronous Filter"로 설정하세요.

해결 방법 (Solution)

smoothStream 변환을 사용해 각 단어를 개별적으로 스트리밍할 수 있어요.

import { smoothStream, streamText } from 'ai';

const result = streamText({
  model,
  prompt,
  experimental_transform: smoothStream(),
});

더 알아보기 (Learn more)