설정 및 설치

설정 및 설치 (Setup and Installation)

계정을 만들고 SDK를 설치하는 방법이에요.

출처: 문서

본문

개요 (Overview)

Confident AI에 오신 걸 환영해요! 설정하는 데는 몇 분이면 충분해요. 다음을 하면 돼요:

무료 계정을 만들고 프로젝트 API 키를 가져와요
하려는 일에 맞는 SDK를 설치해요 — 평가 실행에는 DeepEval, 프로덕션 앱 트레이싱에는 confident-trace (또는 둘 다)
CONFIDENT_API_KEY로 SDK를 프로젝트에 연결해요

코드 없는 워크플로우를 쓴다면 이 섹션으로 건너뛰어도 돼요.

Python

계정 만들기 (Create an account)

app.confident-ai.com으로 이동해서 무료 계정을 만들어요. 로그인하면 대시보드에서 프로젝트 API 키에 접근할 수 있어요.

API 키를 환경 변수로 설정 (Set API key as env variable)

프로젝트 API 키를 환경 변수로 설정해요:

export CONFIDENT_API_KEY="confident_us..."

DeepEval과 confident-trace 둘 다 이 동일한 변수를 읽으므로 한 번만 설정하면 돼요. DeepEval을 쓴다면 CLI로도 로그인할 수 있어요:

deepeval login

이 명령은 API 키를 입력하라고 안내하고 로컬에 저장해요.

SDK 설치 (Install the SDK)

프로젝트 디렉터리 루트에서 필요한 패키지를 설치해요. Python 3.10+가 필요해요.

pip install -U deepeval

pip install confident-trace

어느 쪽을 써야 할지 모르겠다면 아래 노트를 확인해요 — 대부분의 팀은 둘 다 설치하게 돼요.

TypeScript

계정 만들기 (Create an account)

app.confident-ai.com으로 이동해서 무료 계정을 만들어요. 로그인하면 대시보드에서 프로젝트 API 키에 접근할 수 있어요.

API 키를 환경 변수로 설정 (Set API key as env variable)

프로젝트 API 키를 환경 변수로 설정해요:

export CONFIDENT_API_KEY="confident_us..."

또는 .env 파일에 추가해요:

CONFIDENT_API_KEY=your-api-key-here

DeepEval과 confident-trace 둘 다 이 동일한 변수를 읽으므로 한 번만 설정하면 돼요.

SDK 설치 (Install the SDK)

프로젝트 디렉터리 루트에서 필요한 패키지를 설치해요. confident-trace는 Node.js 22+가 필요해요 (TypeScript 소스를 직접 실행한다면 tsx도 필요해요).

npm install deepeval

npm install confident-trace
npm install -D tsx

어느 쪽을 써야 할지 모르겠다면 아래 노트를 확인해요 — 대부분의 팀은 둘 다 설치하게 돼요.

어떤 패키지가 필요할까요? Confident AI에는 두 개의 SDK가 있고, 둘 다 같은 CONFIDENT_API_KEY를 사용해요:

DeepEval은 우리의 오픈소스 평가 프레임워크예요. 메트릭으로 평가를 실행하고, 데이터셋과 프롬프트를 관리하고, CI/CD에서 유닛 테스트를 실행하는 데 사용해요. 평가 퀵스타트로 시작해요.

confident-trace 는 OpenTelemetry 네이티브 트레이싱 SDK예요. 프로덕션 LLM 앱을 계측해서 트레이스, 스팬, 스레드가 Observatory에 나타나게 하는 데 사용해요 — 시작 시 init()을 한 번 호출하면 발견되는 공급자와 프레임워크를 자동으로 계측해요. 트레이싱 퀵스타트로 시작해요.

미리 선택할 필요는 없어요. 프로덕션 트레이스에 대한 평가(온라인 평가)는 플랫폼에서 실행되므로, 트레이스가 흐르기 시작하면 추가 DeepEval 코드 없이도 점수를 낼 수 있어요.

Confident AI 데이터는 기본적으로 미국에 있지만, EU에 데이터 거주지가 있는 고객이라면 SDK를 EU 서버와 데이터베이스로 연결해야 해요. DeepEval은 API 베이스 URL을 사용하고, confident-trace는 OTEL 엔드포인트를 사용해요:
export CONFIDENT_BASE_URL="https://eu.api.confident-ai.com"
export CONFIDENT_OTEL_ENDPOINT="https://eu.otel.confident-ai.com/v1/traces"
이 단계는 EU 데이터 지역에서 만든 계정에만 필요해요. CONFIDENT_BASE_URL만으로는 confident-trace가 트레이스를 보내는 위치가 바뀌지 않는다는 점을 기억해요 — 두 변수가 모두 필요해요. 자세한 내용은 데이터 거주지를 참고해요.

셀프 호스팅 배포를 쓰고 있다면, API 키만으로는 SDK가 아무 데도 가리키지 않아요 — 리전은 관리형 호스트 사이에서만 전환되기 때문이에요. 따라서 DeepEval용 베이스 URL과 confident-trace용 OTEL 엔드포인트를 자신의 배포로 설정해야 해요:
export CONFIDENT_BASE_URL="https://api.yourdomain.com"
export CONFIDENT_OTEL_ENDPOINT="https://otel.yourdomain.com/v1/traces"
POC 포트와 OTEL 엔드포인트는 배포에 베이스 URL 설정하기를 참고해요.

다음 단계 (Next Steps)

이제 Confident AI를 설정했으니, 다음 섹션에서 개발 중 LLM 평가를 안내해요. 여기서 배포 전에 AI 애플리케이션을 체계적으로 테스트하고 개선하는 법을 배우게 돼요.

아직 데이터셋이 없나요? 대신 LLM 트레이싱부터 시작해서 애드혹(ad-hoc) 평가를 실행하고 프로덕션 트레이스에서 데이터셋을 자동으로 만들 수 있어요.

LLM 평가 (LLM Evaluation)

DeepEval로 첫 평가를 실행하고 Confident AI에서 테스트 결과를 확인해요.

LLM 트레이싱 (LLM Tracing)

앱을 confident-trace로 계측하고 Observatory에서 첫 트레이스를 확인해요.

설정 및 설치