모니터링
모니터링 (Monitoring)
Grafana 대시보드로 모든 볼트의 지연 시간, 큐잉(queuing), GPU 사용률을 모니터링해요.
출처: 문서
본문
볼트를 클릭하면 오른쪽 위 모서리에 Monitoring 버튼이 보여요. 클릭하면 이 특정 볼트의 성능에 대한 다양한 분석을 제공하는 Grafana 대시보드가 열려요. 예:
- First Token Latency (첫 토큰 지연 시간)
- Queuing Latency (큐잉 지연 시간)
- Average GPU Duty Cycle (평균 GPU 듀티 사이클)
이를 통해 특정 모델과 관련된 분석을 수집하고, 분석을 수집하는 시간 범위를 수정하고, 페이지의 다양한 그래프를 조사하거나, 데이터를 내보내고 공유할 수 있어요.
왼쪽 위의 Model 드롭다운으로 모델을 변경할 수 있고, 화면 상단의 Search 바를 사용해 특정 정보를 빠르고 쉽게 찾을 수 있으며, 화면 상단의 Refresh를 클릭해 데이터를 새로 고칠 수 있어요.
Note
성능 모니터링은 모든 볼트에서 사용할 수 있어요. Encrypted 볼트의 경우 이러한 운영 지표는 인프라 텔레메트리에서 파생되며, 프롬프트나 응답의 내용을 노출하지 않아요. 그 내용은 신뢰 실행 환경 안에서 계속 보호되죠.