Scorecard

Scorecard

Scorecard는 LLM 애플리케이션을 모니터링하고 평가하기 위한 옵저버빌리티 플랫폼이에요. AI SDK와 통합한 후 Scorecard를 사용해 LLM 프로바이더, 프롬프트, 애플리케이션 플로우를 추적, 모니터링, 분석할 수 있어요.

출처: 문서

본문

설정

Scorecard는 AI SDK 텔레메트리 데이터를 지원해요. https://app.scorecard.io에서 가입하고 설정 페이지에서 API 키를 받아야 해요.

Next.js

AI SDK를 사용해 텔레메트리 데이터를 Scorecard로 보내려면 먼저 프로젝트에 다음 환경 변수를 설정해요:

OTEL_EXPORTER_OTLP_ENDPOINT=https://tracing.scorecard.io/otel/v1/traces
OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer <Your Scorecard API Key>"

다음으로 @ai-sdk/otel을 설치하고 프로젝트 루트에 instrumentation.ts 파일을 만들어 OpenTelemetry를 초기화하고 AI SDK 텔레메트리 통합을 등록해요:

import { registerTelemetry } from 'ai';
import { LegacyOpenTelemetry } from '@ai-sdk/otel';
import { registerOTel } from '@vercel/otel';

registerTelemetry(new LegacyOpenTelemetry());

export function register() {
  registerOTel({
    serviceName: 'my-service-name',
  });
}

통합이 등록되면 모든 AI SDK 호출에 대해 텔레메트리가 자동으로 캡처돼요:

import { generateText } from 'ai';
import { openai } from '@ai-sdk/openai';

const result = await generateText({
  model: openai('gpt-6-luna'),
  prompt: 'Tell me a joke',
});

Scorecard에서 볼 수 있는 것

통합 후 Scorecard 대시보드에서 다음을 볼 수 있어요:

• LLM 호출 trace: 각 AI SDK 호출에 대한 상세 정보
• 성능 메트릭: 지연 시간, 토큰 사용량, 비용 추적
• 모델 정보: 어떤 모델과 프로바이더가 사용됐는지
• 커스텀 컨텍스트: context 옵션으로 제공한 추가 컨텍스트
• 오류 추적: 실패한 요청과 디버깅 정보
• 사용량 분석: LLM 사용량의 패턴과 트렌드

리소스

• Scorecard Tracing Quickstart
• Scorecard Documentation

더 알아보기 (Learn more)

• 출처 문서: Scorecard