TGI Messages API

TGI Messages API

채팅 형식의 대화를 주고받고 싶을 때 TGI는 OpenAI 스타일의 chat/completions 형태인 Messages API를 제공해요. messages 배열에 역할별 대화를 넣으면, 서버가 채팅 템플릿을 적용해 응답을 만들어 줘요.

요청 예시

curl http://localhost:3000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-8B-Instruct",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "What is deep learning?"}
    ]
  }'

확인 포인트

model 필드에는 서빙 중인 모델 ID를 넣어요.
응답은 choices[0].message.content에 생성된 텍스트가 들어 있어요.

출처: https://huggingface.co/docs/text-generation-inference/messages_api

더 알아보기