데이터셋 관리

데이터셋 관리 (Manage Datasets)

데이터셋의 핵심 기능과 그 안에서 골든스를 다루는 방법을 배워볼게요. 데이터셋은 싱글턴 또는 멀티턴 중 하나이며, 골든스의 목록으로 개발 단계 평가 워크플로우의 기초가 돼요. 골든스 구조를 이해하고, CSV로 업로드하고, 팀원에게 검토·확정을 배정하는 방법을 살펴볼게요.

출처: 문서

본문

개요

싱글턴 또는 멀티턴 중 하나인 데이터셋은 골든스의 목록이며, 개발 단계 모든 평가 워크플로우의 기초가 돼요. 이 섹션에서는 데이터셋의 골든스를 다루는 방법을 배워요:

싱글턴·멀티턴 데이터셋의 골든스 구조 이해
플랫폼에서 CSV를 통한 골든스 업로드
팀원에게 골든스 검토·확정 배정

아직이라면 골든스가 무엇인지 먼저 익숙해지는 게 좋아요.

데이터셋 만들기

Project > Datasets 아래에서 데이터셋을 만들 수 있어요(만들려는 데이터셋 유형에 따라 싱글턴 또는 멀티턴 탭을 선택하세요):

Video

Confident AI에서 데이터셋 만들기

골든스 구조 (Golden Structure)

데이터를 업로드하기 전에 골든스 구조를 이해하는 것이 필수예요. 골든스는 데이터셋의 구성 요소이며, 구조는 싱글턴과 멀티턴 평가에서 약간 다릅니다:

싱글턴 (Single-Turn)

필드	타입	설명
Input	Text	필수. AI 앱을 호출하는 데 사용할 인풋 쿼리.
Expected Output	Text	주어진 인풋에 대한 이상적인 아웃풋.
Context	List of text	유스케이스와 관련된 정적 보조 컨텍스트.
Expected Tools	List of tools	호출되어야 하는 이상적인 툴 목록.
Additional Metadata	Key-value pairs	테스트 케이스 생성을 위한 커스텀 메타데이터.
Comments	Text	이 골든스에 대한 메모나 코멘트.

멀티턴 (Multi-Turn)

필드	타입	설명
Scenario	Text	필수. 대화가 일어나는 상황(경위).
Expected Outcome	Text	주어진 시나리오에 대한 바람직한 이상적 결과.
User Description	Text	AI 앱과 상호작용하는 유저에 대한 설명.
Context	List of text	유스케이스와 관련된 정적 보조 컨텍스트.
Additional Metadata	Key-value pairs	테스트 케이스 생성을 위한 커스텀 메타데이터.
Comments	Text	이 골든스에 대한 메모나 코멘트.

싱글턴 골든스의 Actual Output, Retrieval Context, Tools Called와, 멀티턴 골든스의 Turns는 미리 채우지 않는 게 좋아요. 이 필드들은 평가 중에 동적으로 채워지도록 설계된 것들이에요.

CSV로 골든스 업로드

CSV에 저장된 싱글턴·멀티턴 골든스 모두 데이터셋에 업로드할 수 있어요. CSV 헤더에 매핑할 필드만 조금 다를 뿐이에요.

Video

CSV로 골든스 업로드

기타 작업 (Other Actions)

만들기와 업로드 외에도 다음을 할 수 있어요:

이미지 추가 — 멀티모달 골든스를 위해 텍스트 필드에 이미지 끌어다 놓기
비텍스트 열 편집 — Context, Expected Tools, Tools Called 같은 구조적 필드 수정
커스텀 열 추가 — 골든스를 추가 메타데이터 필드로 확장
골든스 배정 — 팀원에게 검토 위임
골든스 (비)확정 — 테스트용 골든스 활성/비활성화
데이터셋 복제 — 기존 데이터셋의 사본 생성
데이터셋 삭제 — 데이터셋 영구 제거

이미지 추가

Confident AI의 데이터셋은 본질적으로 멀티모달이에요 — 텍스트와 함께 이미지가 기본적으로 지원돼요. 골든스에 이미지를 추가하려면 Input, Expected Output, Context 등 모든 텍스트 필드에 직접 끌어다 놓으면 돼요.

이미지를 업로드하면 Confident AI가 이를 저장하고 공개 URL을 생성해요. 이 URL은 [DEEPEVAL:IMAGE:uuid]라는 특수 형식으로 골든스의 텍스트 필드에 임베드돼요. 평가를 위해 데이터셋을 가져올 때 이것을 평가 가능한 형식으로 파싱할 수 있어요.

골든스에 이미지 추가

코드로 데이터셋을 가져올 때 멀티모달 골든스를 평가 가능한 형식으로 파싱하는 방법을 배워보세요.

비텍스트 열 편집

일부 골든스 필드는 일반 텍스트가 아닌 구조화된 데이터를 요구해요. 이는 주로 싱글턴 데이터셋과 관련이 있어요 — 멀티턴 데이터셋에는 Context만 있거든요.

필드	타입	설명
Context	List of strings	유스케이스의 정적 보조 컨텍스트
Retrieval Context	List of strings	리트리벌 시스템에서 검색된 텍스트 청크
Expected Tools	List of `ToolCall`	호출되어야 하는 이상적인 툴
Tools Called	List of `ToolCall`	실행 중 실제로 호출된 툴

ToolCall 객체의 구조는 다음과 같아요:

{
  "name": "get_weather",
  "description": "Get weather for a location",
  "reasoning": "User asked about the weather in San Francisco",
  "output": "Sunny, 72°F",
  "input_parameters": { "location": "San Francisco" }
}

비텍스트 열 편집

커스텀 열 추가

추가 메타데이터를 저장하기 위해 데이터셋에 커스텀 열을 추가해요. 커스텀 열은 각 골든스의 새 필드로 나타나며, 평가 중 동적 값을 전달하는 데 사용할 수 있어요.

커스텀 열은 기본 필드 중 하나여서는 안 돼요:

싱글턴 (Single-Turn)

Input

Expected Output

Context

Expected Tools

Additional Metadata

Comments

Actual Output

Retrieval Context

Tools Called

멀티턴 (Multi-Turn)

Scenario

Expected Outcome

User Description

Context

Additional Metadata

Comments

Turns

Video

커스텀 열 추가

골든스 배정

검토와 주석(annotation)을 위해 골든스를 서로 다른 팀원에게 배정해요.

Video

주석을 위해 골든스 배정

골든스 (비)확정

골든스를 확정(finalized)으로 표시해 추가 편집을 잠그거나, 비확정(unfinalized)으로 바꿔 변경을 허용할 수 있어요. 확정은 골든스를 검토하고 승인해 평가에 사용하려 할 때 유용해요.

데이터셋 복제

기존 데이터셋의 사본을 만드는 기능이에요. 변형을 만들거나, 변경 전에 스냅샷을 보존하고 싶을 때 유용해요.

데이터셋 복제

데이터셋 삭제

플랫폼에서 데이터셋을 영구히 제거해요:

Video

Confident AI에서 데이터셋 삭제

이 작업은 되돌릴 수 없어요. 데이터셋의 모든 골든스 또는 대화형 골든스가 영구 삭제돼요.

데이터셋 평가 예약 (Schedule Dataset Evals)

Confident AI는 데이터셋에 자동 평가를 예약할 수 있게 해줘요. 데이터셋 자동 평가를 예약하는 방법은 다음과 같아요:

데이터셋 선택

사이드바의 Datasets 탭으로 이동
평가를 예약하려는 싱글턴 또는 멀티턴 데이터셋 선택

데이터셋 에디터 페이지로 리다이렉트되며, 여기서 데이터셋과 골든스를 검토·편집할 수 있어요.

스케줄 만들기

사이드바의 Automations 탭으로 이동
Add Schedule을 클릭하고 구성 선택
Create Schedule 클릭

Confident AI에서 데이터셋 평가 스케줄 만들기

이제 지정된 구성으로 스케줄이 만들어지고, 구성에서 지정한 X 간격마다 같은 구성으로 평가를 대신 실행해줘요.

다음 단계

이제 플랫폼에서 데이터셋을 관리하는 방법을 알았으니, 평가에 사용하거나 코드에서 프로그래밍 방식으로 다루는 방법을 배워볼게요.

데이터셋 관리