평가기 지출 추적 및 제한하기

조직 전체 기본값 또는 평가기별 재정의로 평가기의 주간 LLM 지출을 상한선으로 제한해 평가기 비용을 예측 가능하게 유지할 수 있어요.

평가기별 주간 LLM 지출을 상한선으로 제한하여 단일 평가기가 예산을 초과하지 않도록 방지할 수 있습니다. LangSmith는 월요일 12AM UTC에 초기화되는 주간(week-to-date) 평가기 지출을 추적합니다. 조직 관리자는 각 평가기의 연결된 프로젝트 및 데이터셋에 주간 상한을 설정할 수 있어요. 상한은 단일 조직 전체 기본값이거나 특정 연결된 프로젝트 또는 데이터셋에 대한 커스텀 재정의일 수 있습니다.

이 가이드는 주간 평가기 지출 상한을 보고 구성하는 방법을 보여줍니다.

LangSmith는 비용 제어를 위한 트레이스별 및 모델별 비용 추적과 추적 사용량 제한도 제공합니다.

지출 한도 설정은 OpenAI, Anthropic, Gemini 모델에서 사용할 수 있어요. 지출 한도는 LangSmith에 가격이 구성된 지원 모델에서의 실행에 대해서만 적용됩니다. 한도를 신뢰하기 전에 모델 가격을 확인하세요. 한도가 설정되면 지원되지 않는 모델은 평가기에서 사용할 수 없습니다.

UI는 주간(week-to-date) 창을 이번 주(this week) 로 표시해요.

출처: 문서

본문

적용이 작동하는 방식 (How enforcement works)

LangSmith는 각 평가기 실행이 완료된 후 지출을 기록한 다음, 월요일 12AM UTC부터 현재까지의 지출을 합산합니다. 합계가 유효 한도에 도달하면 LangSmith는 해당 연결된 프로젝트 또는 데이터셋에서 평가기를 일시 중지합니다. 실행 중인 요청은 최종 확정되기 전에 합계를 한도보다 약간 초과시킬 수 있으므로 지출이 잠시 소폭 초과될 수 있습니다.

에이전트와 트레이스는 영향을 받지 않습니다. 지출 한도가 초기화되거나 한도가 수동으로 증가될 때까지 평가기만 점수 생성을 중지합니다.

지출 보기 및 제어 (Spend views and controls)

보기	찾을 위치	보거나 변경할 수 있는 사람
평가기 페이지 대시보드	왼쪽 사이드바의 평가기(Evaluators)	모든 워크스페이스 멤버
평가기 테이블 (지출, 지출 상태)	왼쪽 사이드바의 평가기(Evaluators)	모든 워크스페이스 멤버
프로젝트 및 데이터셋 탭	평가기 열기, 프로젝트 및 데이터셋	모든 워크스페이스 멤버
조직 기본 지출 한도	조직 설정(Settings) > 사용량 구성	보기 및 편집에 `organization:manage` 필요
평가기별 재정의	평가기 편집 > 고급(Advanced) > 지출 한도	모든 멤버가 볼 수 있고, 편집에는 `organization:manage` 필요

첫 한도 설정하기 (Set your first limit) — 조직 설정(Settings) 을 열고 조직 내 모든 워크스페이스의 모든 프로젝트와 데이터셋에 있는 모든 평가기 연결에 적용되는 단일 주간 상한을 정의하세요.
하나의 프로젝트 또는 데이터셋에 재정의하기 (Override for one project or dataset) — 평가기에 연결된 특정 프로젝트 또는 데이터셋의 한도를 사용자 지정하세요.

평가기 지출 보기 (View evaluator spend)

다음 UI 위치에서 지출을 찾을 수 있어요:

평가기 페이지 대시보드 (Evaluators page dashboard)

왼쪽 사이드바에서 평가기(Evaluators) 페이지로 이동합니다. 페이지 상단에 워크스페이스 전체의 주간 보기가 표시됩니다:

일별 평가기 지출 (Daily evaluator spend): 일별 지출의 누적 막대 차트. 평가기(Evaluator) 와 프로젝트 / 데이터셋(Project / Dataset) 구분 간에 전환.
이번 주 평가기 지출 (Evaluator spend this week): 모든 평가기의 총 USD 지출과 전주 대비 변화.
이번 주 평가기 트레이스 (Evaluator traces this week): 모든 평가기의 총 트레이스 수와 전주 대비 변화.
주간 평가기 지출 한도 모니터링 (Weekly evaluator spend limit monitoring): 프로젝트 또는 데이터셋별 $ 지출 / $ 한도 진행 막대가 있는 최고 지출자 정렬 목록. 헤더는 한도에 도달했거나(한도 도달 Limit hit) 도달할 예정인 프로젝트 또는 데이터셋 수를 표시합니다.

페이지 헤더의 이전 주(Prev week) 및 다음 주(Next week) 컨트롤을 사용해 주간 보기를 이동할 수 있어요.

추적 프로젝트 또는 데이터셋 보기에는 해당 프로젝트 또는 데이터셋 범위로 한정된 평가기(Evaluators) 탭이 있으며, 예를 들어 이 추적 프로젝트의 일별 평가기 지출 등입니다.

평가기 테이블 (Evaluators table)

같은 페이지의 평가기 테이블에는 다음이 포함됩니다:

지출 (이번 주) (Spend (this week)): 월요일 12AM UTC 이후 모든 연결된 프로젝트와 데이터셋에 걸친 평가기의 총 LLM 비용. LLM을 호출하지 않는 평가기(예: 코드 평가기), 비활성화된 평가기, 연결된 프로젝트 또는 데이터셋이 없는 평가기에는 값이 표시되지 않습니다.
지출 상태 (Spend Status): 다음 중 하나:
- 한도 미만 (Under limits): 연결된 프로젝트 또는 데이터셋 중 하나 이상에 한도가 있고, 어느 것도 상한에 도달하지 않음.
- N 한도 도달 (N limit hit): 평가기가 연결된 하나 이상의 프로젝트 또는 데이터셋에서 한도에 도달. 숫자는 일시 중지된 수를 반영.
- 무제한 (Unlimited): 설정된 한도가 없음.
- LLM을 호출하지 않는 평가기(예: 코드 평가기)와 연결된 프로젝트 또는 데이터셋이 없는 평가기에는 값이 표시되지 않습니다.

평가기의 프로젝트 및 데이터셋 탭 (Projects & Datasets tab on an evaluator)

평가기를 열고 프로젝트 및 데이터셋(Projects & Datasets) 탭을 선택하면 프로젝트 또는 데이터셋별 지출과 한도를 볼 수 있습니다:

지출 (이번 주) (Spend (this week)): 월요일 12AM UTC 이후 해당 프로젝트 또는 데이터셋에서 평가기의 총 LLM 비용.
지출 한도 대비 비율 (Percent of Spend Limit): 월요일 12AM UTC 이후 한도 대비 지출을 보여주는 진행 막대.
주간 한도 (Weekly Limit): 해당 프로젝트 또는 데이터셋의 유효 주간 한도. 조직 기본값 또는 커스텀 재정의.

연결 관리는 평가기 관리를 참고하세요.

조직 기본 지출 한도 설정하기 (Set an organization default spend limit)

조직 관리자는 조직 내 모든 워크스페이스의 모든 평가기 연결된 프로젝트와 데이터셋에 적용되는 단일 주간 상한을 설정합니다. 조직당 하나의 기본값이 있으며, 워크스페이스별이 아닙니다.

조직 기본값 설정 및 편집에는 organization:manage 권한이 필요해요.

조직 설정(Settings) 을 열고 사용량 구성(Usage Configuration) 으로 이동합니다.
평가기 지출 한도(Evaluator spend limit) 에 USD 금액을 입력합니다. 단위는 / 주 입니다. 한도 없음은 비워 두세요.
저장(Save) 을 클릭합니다.

조직 기본값이 설정되지 않으면 커스텀 재정의가 구성되지 않는 한 연결된 프로젝트와 데이터셋은 무제한입니다. 기본값을 지우면 현재 상속 중인 모든 연결된 프로젝트 또는 데이터셋에서 상한이 제거됩니다.

기본값을 변경하면 상속 중인 연결된 프로젝트와 데이터셋만 업데이트됩니다. 커스텀 재정의는 유지됩니다.

연결된 프로젝트 또는 데이터셋에 대해 기본값 재정의하기 (Override the default for an attached project or dataset)

조직 관리자는 평가기에 연결된 특정 프로젝트 또는 데이터셋에 대한 기본값을 재정의할 수 있습니다.

왼쪽 사이드바에서 평가기(Evaluators) 로 이동해 평가기를 엽니다.
오른쪽 상단의 평가기 편집(Edit evaluator) 아이콘을 클릭합니다.
소스(Source) 아래에서 특정 프로젝트 또는 데이터셋을 선택합니다.
필터(Filters) 와 샘플링 비율(Sampling Rate) 을 지나 고급(Advanced) 을 펼칩니다.
지출 한도(Spend limit) 필드에 커스텀 USD 금액을 설정합니다. 단위는 / 주 입니다.
평가기 구성을 저장(Save) 합니다.

필드 아래의 힌트 텍스트는 현재 값이 조직 기본값인지 커스텀 한도인지 보여줍니다. 재정의를 조직 기본값으로 되돌리려면 조직 기본값으로 재설정(Reset to organization default) 을 클릭합니다.

organization:manage 권한이 없는 멤버는 한도를 볼 수 있지만 변경할 수는 없습니다. 읽기 전용 보기에는 다음 중 하나가 표시됩니다:

Unlimited / week (organization default)
$<amount> / week (organization default)
$<amount> / week (custom limit)

한도에 도달했을 때 (When a limit is reached)

연결된 프로젝트 또는 데이터셋의 주간 지출이 유효 한도에 도달하면:

LangSmith는 해당 프로젝트 또는 데이터셋의 새 실행에서 평가기 실행을 중지합니다.
평가기 테이블의 지출 상태(Spend Status) 열에 N 한도 도달(N limit hit) 이 표시되고, 주간 평가기 지출 한도 모니터링 위젯이 영향을 받은 프로젝트 또는 데이터셋을 표시합니다.
건너뛴 실행은 백필되지 않습니다. 지출 한도가 초기화되거나 한도가 수동으로 증가되면 새 실행에서 평가가 자동으로 재개됩니다.

모델 가격 구성하기 (Configure model pricing)

지출 한도가 설정되면 평가기는 지원되는 모델(OpenAI, Anthropic, Gemini)에서만 실행할 수 있으며, 모델에 가격이 구성되어 있어야 합니다. 가격이 구성되지 않은 모델은 평가기에서 사용할 수 없습니다.

평가기가 사용하는 모델의 가격은 모델 가격(Model pricing) 아래에서 구성하세요.

문제 해결 (Troubleshooting)

평가기 생성 문제: 한도가 설정되면 평가기는 모델 가격(Model pricing)에 가격 항목이 있는 지원 모델(OpenAI, Anthropic 또는 Gemini)을 사용해야 합니다.

LangSmith 지출이 내 LLM 공급자 인보이스와 일치하지 않음: LangSmith는 모델 가격(Model pricing)에 구성된 모델별 요금에서 지출을 계산하며, 공급자의 청구서에서 계산하지 않습니다. 공급자가 할인, 커스텀 계약 또는 LangSmith에 추가하지 않은 모델 변형을 적용하는 경우 차이가 예상됩니다.

더 알아보기 (Learn more)

이 문서들을 사용하기 — MCP를 통해 Claude, VSCode 등에 연결하여 실시간 답변을 받아 보세요.
GitHub에서 이 페이지 편집 또는 이슈 등록

평가기 지출 추적 및 제한하기