커스텀 리포트

커스텀 리포트 (Custom Reports)

프로젝트에서 무슨 일이 있었는지 요약하는 AI 작성 내러티브 보고서를 매일 생성하는 기능을 설명하는 문서예요. 이 문서에서는 인사이트(insight) 생성, 보고서가 어떻게 생성되는지, 읽고 내보내는 방법, 그리고 어떤 모델을 쓰는지 다뤄요.

출처: 문서

본문

개요 (Overview)

Executive Insights는 프로젝트 데이터에 대해 매일 작성되는 AI 생성 내러티브 보고서 — 개요, 핵심 발견, 뒷받침 테이블, 선택적 차트, 권장사항 — 예요. 답하고 싶은 질문을 평범한 영어로 설명해 인사이트를 구성하면, Confident AI가 쿼리를 계획하고 실행해 플랫폼에서 읽거나 PDF로 내보낼 수 있는 보고서를 만들어요.

렌더링된 Executive Insight 보고서

각 보고서는 다음을 담아요:

개요(Overview) — 시간 창과 한눈에 보는 답을 잡아주는 문단.
핵심 발견(Key findings) — 뒷받침 숫자와 함께 가장 중요한 3~5개 요점.
통계 카드(Stats cards) — 발견을 고정하는 헤드라인 지표.
그래프(Graph) (선택) — 플래너가 선택한 가장 관련 높은 시계열 데이터 차트.
테이블(Table) (선택) — 뒷받침 롤업. 예: 상위 실패 모드, 가장 느린 스팬, 점수가 낮은 지표.
권장사항(Recommendations) — 모델이 데이터에서 드러낸 구체적인 다음 단계.
주의 사항(Caveat) — 모델이 보지 못하거나 측정하지 못한 것. 과도하게 해석하지 않도록 도와줘요.

보고서는 어떻게 생성되나요?

인사이트가 실행되면 Confident AI는:

쿼리를 계획한다. 플래너 모델이 인사이트 설명을 읽고 프로젝트의 트레이싱, 스레드, 지표, 테스트 실행 데이터에 대한 쿼리 집합을 제안해요.
쿼리를 실행한다. 계획된 각 쿼리가 플랫폼의 나머지가 쓰는 것과 같은 기본 데이터에 대해 실행돼요.
요약한다. 요약자 모델이 쿼리 결과에서 내러티브 보고서 — 개요, 발견, 권장사항, 주의 사항 — 를 작성해요.

렌더링된 보고서는 Executive Reports 페이지에 표시되는 것입니다. 플래너가 설명이 프로젝트가 실제로 가진 데이터에 매핑되지 않는다고 판단하면(예: 레드팀 데이터가 없는 프로젝트에서 레드팀 점수를 물을 때) 보고서가 설명과 함께 "Irrelevant query" 로 돌아오고, 설명을 다듬어 다시 시도할 수 있어요.

인사이트 만들기

설정 열기

Project Settings → Executive Insights로 이동해요.

새 인사이트 추가

New Insight를 클릭하고 다음을 제공해요:

Title(제목) — 짧은 이름 (예: Daily Error Summary, Weekly Test-Run Health).
Description(설명) — 데이터에 대해 이해하고 싶은 것, 평범한 영어로.

설명을 구체적으로

플래너는 설명을 사용해 어떤 쿼리를 실행할지 결정하고, 요약자는 설명을 사용해 내러티브를 구성해요. 관심 있는 데이터 유형, 지표, 시간 창을 언급해요.

"How are we doing?" 같은 모호한 설명은 모호한 보고서를 만들어요. "Show me the passing rates of test runs this past week and which metrics had the highest failure rates. What was our thread activity and have any threads been annotated?" 같은 구체적인 설명은 초점 있는 유용한 보고서를 만들어요.

저장하고 다음 실행을 기다리기

인사이트를 저장해요. 보고서는 설정 페이지에 표시된 실행 시간에 하루에 한 번 자동 생성돼요. 행의 토글 스위치를 꺼서 인사이트를 삭제하지 않고 비활성화할 수 있어요.

Executive Insights 구성

각 프로젝트는 최대 5개의 활성 인사이트를 지원해요. 기존 인사이트를 비활성화하거나 삭제해 슬롯을 확보해요.

보고서 읽기

프로젝트 사이드바에서 Reports를 열어요. 각 활성화된 인사이트는 자체 탭이 있고, 기본적으로 최신 생성 보고서가 표시돼요.

Executive Reports 페이지

인사이트에 대한 보고서가 여러 개 있으면 문서 위의 Report N of M 화살표로 과거 생성분을 넘겨 볼 수 있어요. 각 보고서는 생성된 날짜와 다룬 날짜 범위를 담아요.

최신 보고서의 요약 버전은 플랫폼 어디에나 나타나는 Executive Insight 사이드 서랍에도 표시돼요 — 전체 문서를 열지 않고 요점을 훑기에 유용해요.

보고서 내보내기

전체 보고서 문서와 사이드 서랍 모두 Download as PDF 동작이 있어요 — 문서 오른쪽 위 도구 모음의 아이콘, 또는 사이드 서랍 헤더 행. 내보낸 PDF는 차트와 테이블을 포함해 렌더링된 보고서를 그대로 반영하므로, 그 자체로 경영진과 공유 가능한 상태를 유지해요.

전체 보고서 문서에는 다운로드 아이콘 옆에 Expand 버튼도 있어요 — 내보내기 전에 인쇄 품질의 읽기 환경을 위해 전체 화면 보기로 전환할 수 있어요.

어떤 모델이 보고서를 생성하나요?

Executive Insights는 제공자가 OpenAI 호환(OpenAI 또는 Confident의 풀링된 OpenAI 기반 기본값)일 때 프로젝트의 설정된 평가 모델(evaluation model) 을 사용해요. 다른 제공자 — Anthropic, Bedrock, Vertex 등 — 에서는 시스템이 Confident AI의 표준 생성 모델로 폴백해서 보고서 품질을 일관되게 유지해요.

활성 모델은 Project Settings → Evaluation Models 에서 바꿀 수 있어요.

특히 gpt-5 를 선택하면 OpenAI는 호출을 처리하는 키의 조직이 검증되어 있어야 해요. 자세한 내용은 Evaluation Models 페이지를 참고해요.

보고서가 "Irrelevant Query"라고 말할 때

플래너가 설명과 일치하는 데이터를 찾지 못하면, 보고서는 지어낸 내러티브 대신 "irrelevant query" 메시지를 반환해요. 흔한 이유:

설명이 프로젝트에 데이터가 없는 기능을 언급함(예: 레드팀이 없는 프로젝트의 레드팀 결과).
설명이 트래픽이 없는 시간 창을 언급함.
설명이 너무 추상적이라 구체적인 쿼리에 매핑할 수 없음.

설명을 다듬으면(데이터 유형, 지표, 시간 창, "좋은" 상태는 무엇인지) 다음 생성분은 실제 보고서를 만들어요.

대시보드

같은 데이터 위에 실시간으로 드릴다운 가능한 대시보드를 만들어요 — 그래프, 테이블, 요청 시 새로고침할 수 있는 빅 넘버 타일.

Evaluation Models

Executive Insights가 사용하는 모델과 자격 증명을 구성해요. gpt-5 검증 메모 포함.

커스텀 리포트