SYSTEM$CREATE_EVALUATION_DATASET
SYSTEM$CREATE_EVALUATION_DATASET
SYSTEM$CREATE_EVALUATION_DATASET 함수는 기존 테이블에서 Cortex Agent 평가용 Snowflake 데이터셋을 만들어요. 새 데이터셋은 데이터셋 이름 인자에 지정된 것과 같은 데이터베이스와 스키마에 등록돼요.
SQL로 평가 데이터셋을 만들고 싶을 때 이 함수를 사용하세요(예: Cortex Agent 평가 시작하기 가이드 참고). 평가를 시작할 때 Snowsight에서 테이블로 데이터셋을 만들 수도 있고, 평가 YAML 파일에서 dataset 블록을 정의할 수도 있어요. 평가 데이터의 테이블·컬럼 요구 사항은 데이터셋 형식을 참고하세요.
본문
문법
CALL SYSTEM$CREATE_EVALUATION_DATASET(
'<agent_dataset_type>' ,
'<source_table_name>' ,
'<dataset_name>' ,
<column_mapping>
);
반환
데이터셋이 성공적으로 생성되었는지 여부를 나타내는 문자열 메시지를 반환해요.
접근 제어 요구 사항
입력 테이블에서 데이터셋을 만들 권한이 필요하며, 데이터셋이 생성되는 스키마에 대한 CREATE DATASET ON SCHEMA 권한이 필요해요.
예제
다음 예제는 MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE 테이블에서 MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET 데이터셋을 만들며, INPUT_QUERY를 쿼리 컬럼으로, GROUND_TRUTH_DATA를 정답(ground truth) 컬럼으로 사용해요.
CALL SYSTEM$CREATE_EVALUATION_DATASET(
'Cortex Agent',
'MARKETING_CAMPAIGNS_DB.AGENTS.EVALS_TABLE',
'MARKETING_CAMPAIGNS_DB.AGENTS.MARKETING_CAMPAIGN_EVALSET',
OBJECT_CONSTRUCT(
'query_text', 'INPUT_QUERY',
'expected_tools', 'GROUND_TRUTH_DATA'
)
);
데이터셋이 존재하는지 확인해요.
SHOW DATASETS IN SCHEMA MARKETING_CAMPAIGNS_DB.AGENTS;