NVIDIA NIM

NVIDIA NIM

NVIDIA NIM의 모델을 Docker Agent에서 사용하는 방법을 설명해요. Nemotron 등 오픈웨이트 모델을 build.nvidia.com(무료 티어 포함)에서 쓸 수 있어요.

출처: 문서

본문

NVIDIA는 build.nvidia.com(무료 티어 포함)을 통해 Nemotron과 다양한 오픈웨이트 모델을 OpenAI 호환 API로 제공해요. Docker Agent에는 NVIDIA를 기본 제공 alias 프로바이더로 지원하고 있어요. 같은 alias는 base_url을 바꿔 자체 호스팅 NVIDIA NIM 배포에서도 동작해요.

설정

  • build.nvidia.com에서 API 키를 받으세요.
export NVIDIA_API_KEY=your-api-key

사용법

인라인 문법

NVIDIA NIM을 쓰는 가장 간단한 방법:

agents:
  root:
    model: nvidia/nvidia/nemotron-3-super-120b-a12b
    description: Assistant using NVIDIA NIM
    instruction: You are a helpful assistant.

네임드 모델 (Named Model)

파라미터를 더 세밀하게 제어하려면:

models:
  nemotron:
    provider: nvidia
    model: nvidia/nemotron-3-super-120b-a12b
    temperature: 0.7
    max_tokens: 8192

agents:
  root:
    model: nemotron
    description: Assistant using NVIDIA NIM
    instruction: You are a helpful assistant.

사용 가능한 모델

NVIDIA NIM은 Nemotron 외에 많은 오픈 모델(Llama, Qwen, DeepSeek, Mistral 등)을 호스팅해요. 현재 모델 목록은 NVIDIA API 카탈로그에서 확인하세요.

모델 설명
nvidia/nemotron-3-super-120b-a12b Nemotron 3 Super, 추론 + 도구 호출
nvidia/nemotron-3-nano-30b-a3b Nemotron 3 Nano, 더 작고 빠름
meta/llama-3.3-70b-instruct Llama 3.3 70B instruction-tuned
qwen/qwen3-coder-480b-a35b-instruct Qwen3 Coder, 코드 중심

온프레미스 / 자체 호스팅 NIM

자체 호스팅 NIM 배포에서는 hosted integrate.api.nvidia.com API 대신 base_url을 자기 엔드포인트로 가리키세요:

models:
  local_nim:
    provider: nvidia
    model: meta/llama-3.3-70b-instruct
    base_url: http://localhost:8000/v1

동작 방식

NVIDIA는 Docker Agent의 기본 제공 alias로 구현돼 있어요:

NIM은 채팅 템플릿이 보통 단일 시스템 메시지만 받는 오픈웨이트 모델을 앞세우기 때문에, Docker Agent는 요청을 보내기 전에 에이전트 지시문과 모든 도구셋 지시문을 하나의 선행 시스템 메시지로 합쳐 줘요.

예시: 코드 어시스턴트

agents:
  coder:
    model: nvidia/nvidia/nemotron-3-super-120b-a12b
    description: Code assistant using Nemotron
    instruction: |
      You are an expert programmer using NVIDIA Nemotron.
      Write clean, well-documented code.
      Follow best practices for the language being used.
    toolsets:
      - type: filesystem
      - type: shell
      - type: think

더 알아보기 (Learn more)