Model Analyzer

Model Analyzer

Triton의 Model Analyzer는 Performance Analyzer를 이용해 모델에 요청을 보내면서 GPU 메모리와 계산(compute) 사용률을 측정하는 도구예요. 특히 **배칭(batching)과 모델 인스턴스 구성이 다를 때 모델의 GPU 메모리 요구 사항을 특성화(characterize)**하는 데 유용해요. 이 GPU 메모리 사용 정보를 확보하면, GPU 메모리 용량 안에서 여러 모델을 같은 GPU에 어떻게 조합할지를 더 지능적으로 결정할 수 있어요.

모델 구성의 성능 최적화와 관련된 더 자세한 내용은 모델 구성 최적화 문서와도 이어져요.

출처: 공식문서 — Model Analyzer

Model Analyzer 사용의 더 자세한 예시와 설명은 다음을 참고하세요.

• Model Analyzer Conceptual Guide
• NVIDIA Model Analyzer로 딥러닝 추론 성능 극대화 (NVIDIA 블로그)

더 알아보기 (Learn more)

• 모델 구성 (Model Configuration)
• 모델 최적화 (Optimization)