LLM Gateway 지출 모니터링

사용자, API 키, 모델별로 LLM Gateway 비용을 보고 분석하는 방법을 알려드릴게요.

참고: LLM Gateway는 베타 상태입니다.

LLM Gateway Spend Monitoring 대시보드는 게이트웨이를 통해 워크스페이스가 발생시킨 LLM 비용이 얼마인지 보여줍니다. 시간 경과에 따른 지출을 비교하고 그 지출을 차지하는 사용자, API 키, 모델을 식별하는 데 사용하세요. 대시보드는 한 번에 한 워크스페이스를 다룹니다. 비교하려면 워크스페이스를 전환하세요.

대시보드를 보려면 조직 관리자 역할과 Plus 또는 Enterprise 요금제가 필요합니다. 둘 다 없으면 Usage 탭이 나타나지 않습니다.

경고: 대시보드는 현재 EU, APAC, AWS 환경에서는 사용할 수 없습니다.

출처: 문서

본문

대시보드 열기

게이트웨이 지출을 보려면:

LangSmith UI에서 왼쪽 내비게이션의 LLM Gateway를 선택합니다.
Usage를 선택합니다.
분석하려는 워크스페이스를 선택합니다.

대시보드는 선택한 워크스페이스가 LLM Gateway를 통해 트래픽을 보낸 후 데이터를 표시합니다. 워크스페이스에 게이트웨이 트래픽이 없으면 대시보드는 빈 상태를 표시합니다.

시간 범위와 세분도 설정

시간 컨트롤로 페이지의 모든 요약, 차트, 테이블이 다루는 기간을 정의합니다:

시간 범위: 하루에서 1년까지의 사전 설정 범위를 선택하거나 사용자 지정 날짜를 선택합니다. 날짜와 시간 버킷은 UTC를 사용합니다.
세분도: 지출을 시간별, 일별, 주별 버킷으로 그룹화합니다. 사용 가능한 옵션은 선택한 시간 범위의 길이에 따라 달라집니다.
이전 또는 다음 기간: 인접한 시간 범위를 비교하기 위해 동일한 길이의 한 기간만큼 뒤로 또는 앞으로 이동합니다.

지출 분석 및 필터링

Breakdown by를 선택해 다음 차원 중 하나로 지출을 그룹화합니다:

User: 게이트웨이를 호출한 개인 접근 토큰과 연결된 사용자에게 지출을 귀속시킵니다. 워크스페이스 또는 조직 범위 서비스 키로 이루어진 요청은 어떤 사용자와도 무관(Unaffiliated with any user) 으로 나타납니다.
API key: 게이트웨이를 호출한 LangSmith API 키에 지출을 귀속시킵니다.
Model: 요청에 사용된 모델에 지출을 귀속시킵니다.

차원을 선택한 후 인접 필터로 특정 사용자, API 키, 모델에 집중할 수 있습니다. 한 번에 최대 6개 엔티티를 선택할 수 있습니다. 필터를 제거하려면 목록 하단의 All 옵션을 선택합니다.

지출 요약 해석

요약 카드는 선택한 워크스페이스, 시간 범위, 차원, 필터에 대한 지출을 설명합니다:

Total Spend: 선택한 시간 범위에서 게이트웨이 지출의 합.
Hourly, Daily, or Weekly Avg: 총 지출을 선택된 범위의 시간 버킷 수로 나눈 값.
Hourly, Daily, or Weekly Avg / 차원: 각 시간 버킷의 선택된 사용자·API 키·모델당 평균 지출. 엔티티 필터를 적용하지 않았다면 이 메트릭은 지출 상위 10개 엔티티를 사용합니다.

차트와 테이블 분석

누적 막대 차트는 각 엔티티가 모든 시간 버킷에서 지출에 어떻게 기여했는지 보여줍니다. 막대 위로 마우스를 올리면 버킷 합계와 각 보이는 엔티티의 기여도를 볼 수 있습니다. 필터가 없으면 차트는 지출 상위 6개 엔티티를 개별 시리즈로 표시하고 나머지 엔티티는 Other로 결합합니다.

테이블은 보이는 엔티티당 한 행으로 동일한 선택을 요약합니다. 비교에 사용하세요:

Hourly, Daily, or Weekly Avg: 엔티티의 총 지출을 시간 버킷 수로 나눈 값.
Spend Share: 엔티티에 귀속된 지출의 백분율.
Total Spend: 선택한 시간 범위에서 엔티티의 총 지출.

열 머리글을 선택해 테이블을 정렬합니다.

사용자 또는 API 키 드릴다운

사용자 또는 API 키 행을 선택해 상세 보기를 엽니다:

사용자에서 API 키별로 그룹화된 지출을 봅니다.
API 키에서 사용자별로 그룹화된 지출을 봅니다.

상세 보기에는 자체 엔티티 필터, 시간 범위, 세분도 컨트롤이 있습니다. 이 보기의 변경사항은 기본 대시보드의 컨트롤을 변경하지 않습니다.

함께 보기

더 알아보기

LLM Gateway 개요 — 게이트웨이 기능 소개.
Spend 정책 구성 — 비용 한도 설정.