합성 데이터 생성 소개

합성 데이터 생성 소개 (Introduction to Synthetic Data Generation)

자신의 데이터 소스에서 합성 골든스(golden)를 자동 생성해볼게요. Google Drive의 문서, Slack 채널의 메시지, Notion의 페이지, SharePoint의 파일 같은 기존 데이터 소스를 연결하면, 골든스를 하나씩 손으로 쓰지 않아도 평가 준비가 된 골든스를 대규모로 만들어줘요.

출처: 문서

본문

개요

합성 데이터 생성(synthetic data generation)은 기존 데이터 소스에서 고품질 골든스를 자동으로 만들어주는 기능이에요 — Google Drive에 저장된 문서, Slack 채널의 메시지, Notion의 페이지, SharePoint의 파일을 대상으로 하죠. 골든스를 하나씩 수동으로 쓰는 대신 데이터 소스를 연결하고, Confident AI가 평가 준비가 된 골든스를 대규모로 생성하게 맡기면 돼요.

동작 방식

높은 수준에서 합성 데이터 생성은 세 단계로 이뤄져요:

데이터 소스 연결하기

Project Settings > Data Sources로 이동해 Google Drive, Slack, Notion, SharePoint 같은 외부 소스를 연결해요. 각 소스 유형은 고유한 자격 증명(credential)이 필요해요.

생성 설정(Generation Config) 만들기

Datasets > Automations 아래에서 데이터 소스를 가리키는 생성 설정을 만들어요. 컨텍스트 청크당 생성되는 최대 골든스 수 같은 파라미터를 제어할 수 있어요.

생성하기

Generate를 클릭하면 Confident AI가 데이터 소스에서 문서를 가져와 컨텍스트로 청킹하고, LLM을 사용해 골든스를 합성해요 — 인풋, 예상 아웃풋, 컨텍스트 필드가 모두 채워진 상태로 말이죠.

다음 단계

데이터 소스 커넥터

각 지원 데이터 소스에서 자격 증명을 설정하고 연결하는 방법을 배워요.

데이터셋 관리

생성된 골든스를 검토하고 확정하며 관리하는 방법을 배워요.

합성 데이터 생성 소개