InvokeModel로 단일 프롬프트 추론하기
InvokeModel로 단일 프롬프트 추론하기
단일 프롬프트 하나를 던져 모델 추론을 실행하는 가장 기본적인 방법이 InvokeModel 연산이에요. 프롬프트를 본문에 담고 모델 ID를 지정해 bedrock-runtime 엔드포인트로 보내면, 모델이 텍스트·이미지·임베딩 등의 출력을 돌려주죠. 이 페이지에서는 InvokeModel 호출에 필요한 필드와 함께 쓸 수 있는 옵션을 정리해 드릴게요.
출처: https://docs.aws.amazon.com/bedrock/latest/userguide/inference-invoke.html
단일 프롬프트 추론
단일 프롬프트에 대한 추론은 InvokeModel과 스트리밍용 InvokeModelWithResponseStream API 연산으로 실행해요. Amazon Bedrock 모델은 입력·출력으로 받는 형태(텍스트, 이미지, 비디오, 임베딩)가 모델마다 달라서, 모델이 스트리밍 응답을 지원하는지도 달라요.
모델이 어떤 입출력과 스트리밍을 지원하는지는 두 가지 방법으로 확인할 수 있어요.
- "Supported foundation models" 페이지에서 해당 모델의 Input modalities, Output modalities, Streaming supported 컬럼 확인
- 모델 ID로
GetFoundationModel요청을 보내 응답의inputModalities,outputModalities,responseStreamingSupported필드 확인
필요한 필드
InvokeModel 요청에는 다음 필드가 필요해요.
| 필드 | 용도 |
|---|---|
body |
모델별 추론 파라미터를 지정해요. Prompt management에서 프롬프트를 modelId로 지정한 경우엔 생략해요(넣어도 무시됨). |
contentType |
응답 본문의 미디어 타입을 지정해요. |
필요에 따라 다음 옵션 필드도 함께 쓸 수 있어요.
| 필드 | 용도 |
|---|---|
performanceConfigLatency |
지연 최적화 여부를 지정해요 (지연 최적화 추론 참고). |
guardrailIdentifier |
프롬프트와 응답에 적용할 가드레일을 지정해요. |
guardrailVersion |
적용할 가드레일 버전을 지정해요. |
trace |
지정한 가드레일의 추적(trace)을 반환할지 지정해요. |
serviceTier |
요청에 사용할 서비스 티어를 지정해요. |
참고로 InvokeModel, InvokeModelWithResponseStream, Converse, ConverseStream 네 연산에는 일부 제한(API restrictions)이 적용되니 확인이 필요해요.