Gemini Live API로 실시간 번역하기

Gemini Live API로 실시간 번역하기 (Live translation with Gemini Live API)

Gemini Live API는 gemini-3.5-live-translate-preview 모델을 사용해 70개 이상의 언어 간 저지연 실시간 음성 대 음성 번역을 지원해요. Live API를 번역 설정으로 구성하면 한 언어로 오디오를 스트리밍하고 다른 언어로 번역된 오디오 출력을 받을 수 있어, 끊김 없는 실시간 음성 대 음성 번역이 가능해요.

출처: 원문

본문

Live Agent와 Live Translation 비교

둘 다 Live API를 사용하지만, Live Translation의 사고 모델(mental model)은 대화형 실시간 에이전트 상호작용과 달라요.

시작하기 (Get started)

다음 예시는 클라이언트를 초기화하고 번역 구성으로 Live API에 연결하는 방법을 보여줘요.

오디오 보내기 (Sending audio)

번역을 위한 음성 입력을 스트리밍하려면 raw little-endian 16비트 PCM 오디오를 보내요.

• 입력 오디오 형식: 16kHz raw 16비트 PCM(모노, little-endian).
• 출력 오디오 형식: 24kHz raw 16비트 PCM(모노, little-endian).
• 청크 크기 및 지연 시간: 100ms 청크로 오디오를 보내요.

참고: 번역에서는 오디오 입력만 지원해요. 텍스트 입력은 지원되지 않아요.

다음 예시는 세션에 오디오 청크를 보내는 방법을 보여줘요.

구성 (Configuration)

번역을 활성화하려면 세션 설정 중 generationConfig 안에 translationConfig를 지정해야 해요.

설정 메시지 구성

generationConfig는 트랜스크립트를 활성화하는 다음 필드를 지원해요.

• inputAudioTranscription: 존재하면 모델이 입력 오디오의 텍스트 트랜스크립트를 보낼 수 있게 하는 객체예요.
• outputAudioTranscription: 존재하면 모델이 출력(번역된) 오디오의 텍스트 트랜스크립트를 보낼 수 있게 하는 객체예요.

translationConfig는 다음 필드를 지원해요.

• targetLanguageCode: 모델이 번역할 언어의 BCP-47 언어 코드예요 (예: 폴란드어는 "pl", 스페인어는 "es"). 기본값은 "en"이에요.
• echoTargetLanguage: 이미 대상 언어로 된 입력 오디오를 어떻게 처리할지 나타내는 불리언이에요. true로 설정하면 모델이 이미 대상 언어로 된 입력 오디오를 에코(따라 말함)해요. false로 설정하면 입력 음성이 이미 대상 언어일 때 모델이 조용히 있어요. 기본값은 false예요.

설정 메시지 구조의 예시는 다음과 같아요.

"setup": {
    "model": "models/gemini-3.5-live-translate-preview",
    "generationConfig": {
      "responseModalities": [
        "AUDIO"
      ],
      "inputAudioTranscription": {},
      "outputAudioTranscription": {},
      "translationConfig": {
        "targetLanguageCode": "pl",
        "echoTargetLanguage": true
      }
    }
}

클라이언트 측 애플리케이션에서 임시 토큰 사용하기

클라이언트-서버 애플리케이션에서는 임시 토큰(현재 v1beta)을 사용해 API 키 노출을 피할 수 있어요.

Live Translation에서 임시 토큰을 사용할 때:

1. v1beta 엔드포인트를 사용해야 해요.
2. 구성 잠금: 기본적으로 서버에서 토큰 생성 제약 조건에 translationConfig를 지정해야 해요. 이렇게 하면 번역 구성이 잠겨 클라이언트가 조작할 수 없어요.
3. 구성 잠금 해제: 클라이언트 측에서 translationConfig를 설정하려면(예: 사용자가 자신의 대상 언어를 선택하도록 허용), 토큰 생성 요청에서 이를 생략하고 대신 "lock_additional_fields": []를 설정해야 해요. 그러면 translationConfig를 클라이언트 측에서 설정할 수 있게 잠금이 해제돼요.

제한된 임시 토큰 생성하기

다음 예시는 번역 제약 조건으로 임시 토큰을 만드는 방법을 보여줘요.

제한 사항 (Limitations)

• 입력 모달리티: 번역에서는 오디오 입력만 지원해요. 텍스트 입력은 지원되지 않아요.
• 음성 복제: 음성 복제가 일관되지 않을 수 있어요. 긴 일시 중지 후 음성이 바뀌거나, 말이 시작되는 방식에 따라 잘못된 성별로 지정되거나, 빠른 다중 화자 대화 중에 한 음성에 갇혀 버릴 수 있어요.
• 언어 감지: 언어 감지는 심한 억양, 유사한 언어(예: 스페인어 대 포르투갈어), 또는 빠른 언어 전환에서 어려움을 겪어요. 참고: 이는 입력 트랜스크립트에만 영향을 주어야 해요. 언어 코드와 최종 번역은 여전히 정확해야 해요.
• 배경 오디오: 모델은 깨끗한 음성을 생성하기 위해 노이즈와 음악을 걸러내도록 설계되었지만, 모든 배경 오디오가 무시되지는 않을 수 있어요.
• Echo 대상 언어: echoTargetLanguage: true일 때 입력 오디오가 이미 대상 언어라면 배경 노이즈나 음악이 번역된 오디오에 아티팩트를 만들 수 있어요.

지원 언어 (Supported languages)

Live Translation에서 지원되는 언어는 다음과 같아요.

다음 단계 (What's next)

• 전체 Live API Capabilities 가이드를 읽어보세요.
• SDK 시작하기 가이드를 읽어보세요.
• WebSockets 시작하기 가이드를 읽어보세요.
• 클라이언트-서버 애플리케이션의 안전한 인증을 위해 임시 토큰 가이드를 읽어보세요.
• GitHub에서 Live API 예시를 클론하세요.

더 알아보기 (Learn more)

• Live API Capabilities
• SDK 시작하기
• WebSockets 시작하기
• 임시 토큰