Responses API로 프롬프트 관리

Responses API로 프롬프트 관리 (Prompt Management with Responses API)

/v1/responses에서 LiteLLM의 프롬프트 관리(Prompt Management)를 **prompt_id**와 선택적 **prompt_variables**를 전달해 사용할 수 있어요.

출처: 문서

본문

기본 사용법 (Basic Usage)

curl -X POST "http://localhost:4000/v1/responses" \
  -H "Authorization: Bearer sk-1234" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "prompt_id": "my-responses-prompt",
    "prompt_variables": {"topic": "large language models"},
    "input": []
  }'

input에서의 멀티턴 후속 대화 (Multi-turn Follow-up in input)

한 번의 요청에서 후속 턴(turn)을 보내려면 input에 메시지 히스토리를 전달해요.

curl -X POST "http://localhost:4000/v1/responses" \
  -H "Authorization: Bearer sk-1234" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "prompt_id": "my-responses-prompt",
    "prompt_variables": {"topic": "large language models"},
    "input": [
      {"role": "user", "content": "Topic is LLMs. Start short."},
      {"role": "assistant", "content": "Sure, go ahead."},
      {"role": "user", "content": "Now give me 3 bullets and include pricing caveat."}
    ]
  }'

참고 사항 (Notes)

  • 프롬프트 템플릿 메시지는 input 메시지와 병합돼요.
  • 프롬프트 변수 치환은 프롬프트 메시지 콘텐츠에 적용돼요.
  • 도구 호출(tool call) 페이로드 필드는 프롬프트 변수로 치환되지 않아요.
  • previous_response_id로 후속 대화할 때는, 그 턴에도 프롬프트 관리를 적용하려면 prompt_id를 다시 포함해 주세요.

더 알아보기 (Learn more)