EXECUTE_AI_EVALUATION

Cortex Agent 평가(evaluation) 실행을 시작, 상태 조회, 취소 또는 삭제하는 시스템 함수예요. 에이전트 평가를 SQL로 직접 제어하고 싶을 때 써요.

출처: 공식 문서

본문

Cortex Agent 평가 실행을 시작하거나, 상태를 조회하거나, 취소하거나, 삭제합니다.

Cortex Agent 평가에 대한 자세한 내용은 Cortex Agent evaluations를 참고하세요.

참고 (See also): SYSTEM$CREATE_EVALUATION_DATASET , GET_AI_RECORD_TRACE (SNOWFLAKE.LOCAL) , GET_AI_EVALUATION_DATA (SNOWFLAKE.LOCAL) , GET_AI_OBSERVABILITY_LOGS (SNOWFLAKE.LOCAL)

구문 (Syntax)

EXECUTE_AI_EVALUATION( <evaluation_job> , <run_parameters> , <config_file_path> )

인자 (Arguments)

evaluation_job

다음 값 중 하나입니다:

'START': 평가를 시작합니다.
'STATUS': 평가의 상태를 검색합니다.
'CANCEL': 진행 중인 평가 실행을 취소합니다.
'DELETE': 평가 실행을 삭제합니다.

run_parameters

다음 키를 포함하는 SQL OBJECT 값입니다:

run_name: evaluation_job 연산을 수행할 실행(run)의 이름.

config_file_path

에이전트 평가 구성을 가리키는 스테이지 파일 경로입니다. 이 경로는 서명된 URL일 수 없습니다. 전체 구성 YAML 명세는 "Agent Evaluation YAML specification"을 참고하세요.

반환값 (Returns)

이 함수의 반환값은 evaluation_job에 따라 다릅니다:

'START'는 SQL 실행이 성공했는지 실패했는지를 나타내는 단일 문자열 메시지를 반환합니다.
'STATUS'는 평가 실행의 현재 상태에 대한 정보를 담은 테이블을 반환합니다.
'CANCEL'은 SQL 실행이 성공했는지 실패했는지를 나타내는 단일 문자열 메시지를 반환합니다.
'DELETE'는 SQL 실행이 성공했는지 실패했는지를 나타내는 단일 문자열 메시지를 반환합니다.

'STATUS' 평가 작업이 반환하는 테이블에는 다음 컬럼이 있습니다:

이름	타입	설명
RUN_NAME	VARCHAR	평가 실행의 이름.
AGENT_NAME	VARCHAR	평가되는 에이전트의 (한정되지 않은) 이름.
AGENT_TYPE	VARCHAR	평가되는 에이전트의 타입.
STATUS	VARCHAR	평가 실행의 현재 상태.
STATUS_DETAILS	ARRAY	이 실행 중 발생한 오류 메시지의 배열.

STATUS 컬럼의 값은 다음 중 하나입니다:

실행 상태 (Run status)

상태	설명
CREATED	실행이 생성되었지만 시작되지 않았습니다.
INVOCATION_IN_PROGRESS	실행 호출이 출력과 추적(trace)을 생성하는 과정에 있습니다.
INVOCATION_COMPLETED	실행 호출이 모든 출력과 추적을 생성하며 완료되었습니다.
INVOCATION_PARTIALLY_COMPLETED	애플리케이션 호출과 추적 생성의 실패로 실행 호출이 부분적으로 완료되었습니다.
COMPUTATION_IN_PROGRESS	메트릭 계산이 진행 중입니다.
COMPLETED	상세 출력과 추적과 함께 메트릭 계산이 완료되었습니다.
PARTIALLY_COMPLETED	메트릭 계산 중 실패로 실행이 부분적으로 완료되었습니다.
CANCELLED	실행이 취소되었습니다.

접근 제어 요구 사항

Cortex Agent 평가를 수행하기 위한 전체 접근 제어 요구 사항은 Cortex Agent evaluations – Access control requirements를 참고하세요.

예제 (Examples)

다음 예제는 @eval_db.eval_schema.metrics/agent_evaluation_config.yaml의 에이전트 평가 구성을 사용해 run-1이라는 실행을 시작합니다:

CALL EXECUTE_AI_EVALUATION(
  'START',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

다음 예제는 @eval_db.eval_schema.metrics/agent_evaluation_config.yaml의 에이전트 구성을 사용해 평가 실행 run-1의 상태를 조회합니다:

CALL EXECUTE_AI_EVALUATION(
  'STATUS',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

다음 예제는 @eval_db.eval_schema.metrics/agent_evaluation_config.yaml의 에이전트 구성을 사용해 진행 중인 평가 실행 run-1을 취소합니다:

CALL EXECUTE_AI_EVALUATION(
  'CANCEL',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

다음 예제는 @eval_db.eval_schema.metrics/agent_evaluation_config.yaml의 에이전트 구성을 사용해 평가 실행 run-1을 삭제합니다:

CALL EXECUTE_AI_EVALUATION(
  'DELETE',
  OBJECT_CONSTRUCT('run_name', 'run-1'),
  '@eval_db.eval_schema.metrics/agent_evaluation_config.yaml'
);

EXECUTE_AI_EVALUATION