주석 옵션
주석 옵션 (Annotation Options)
프로젝트의 사람 개입(human-in-the-loop) 평가 워크플로를 위한 주석 기준과 재사용 가능한 주석 양식(form)을 정의하고 관리하는 설정이에요. 프로젝트에서 다양한 사람 주석 옵션을 켜고 끌 수 있고, 이 기준은 Confident AI의 프로젝트 내 모든 주석에 적용돼요.
출처: 문서
본문
Manage Annotation Options
기준을 끄면 UI에 표시되는 주석 옵션을 제한해 사용자나 팀 멤버의 혼란을 줄이는 데 도움이 돼요.
주석 옵션 구성하기 (Configure Annotation Option)
기본적으로 두 주석 시스템이 모두 활성화되어 있어요.
- Five Star Rating — 응답을 1-5점 별점으로 평가
- Thumbs Up/Down — 간단한 이진 피드백
하나만 사용하고 싶다면 한 시스템(둘 다는 불가)을 끌 수 있어요. 주석 기준을 구성하려면:
- Project Settings(프로젝트 설정) → Annotation Criteria로 이동
- 사용할 점수 시스템(5점 별점 또는 thumbs up/down)을 켜거나 끔
- Save(저장) 클릭
기준을 꺼도 UI에서 숨겨질 뿐, 해당 시스템의 기존 주석은 삭제되지 않아요. API 호출을 막거나 기존 통합이 오류를 일으키지도 않아요.
커스텀 기준 (Custom Criteria)
특정 평가 요구에 맞춘 커스텀 주석 기준을 만들 수 있어요. 기본적으로 커스텀 기준은 구성되어 있지 않아요.
커스텀 기준을 추가하려면:
- Add Custom Criteria 클릭
- 기준의 고유한 이름 입력
- 기준 유형(Five Star Rating 또는 Thumbs Up/Down) 선택
- Save(저장) 클릭
커스텀 기준을 삭제하려면 제거할 기준 옆의 휴지통 아이콘을 클릭해요.
주석 양식 (Annotation Forms)
주석 기준은 프로젝트의 모든 주석에 적용돼요. 주석 양식(annotation forms) 은 한 단계 더 나아가요. 기준과 커스텀 질문을 합친 재사용 가능한 필드 묶음을 조립해 특정 주석 큐에 연결할 수 있게 해줘요. 큐에 양식이 연결되면 주석자는 프로젝트의 기본 주석 옵션 대신 그 양식을 채워요.
양식은 두 가지 종류의 필드를 섞을 수 있어요.
- Criteria 필드 — 프로젝트의 주석 옵션 중 하나(기본 등급 또는 커스텀 기준)를 점수 매김. 답변은 일반 주석으로 저장돼요.
- Custom 필드 — 텍스트·숫자·선택 같은 추가 구조화된 입력을 수집. 답변은 주석이 달린 항목과 함께 양식 응답(form response)으로 저장돼요.
필드 유형 (Field Types)
| Type | Description |
|---|---|
| Criteria | Score a single annotation criterion (a default rating or custom one) |
| Text | Free-form text answer |
| Number | Whole number answer |
| Decimal | Decimal number answer |
| Yes / No | A yes / no toggle |
| Single choice | Pick one option from a list you define |
| Multiple choice | Pick one or more options from a list you define |
양식 만들기 (Create a Form)
Forms 섹션 열기
이 Annotation 설정 페이지에서 Forms로 스크롤해 Create form을 클릭해요. 양식에 Name(예: Response quality review)을 주고 Create를 클릭해 양식 편집기를 열어요.
필드 추가 및 구성 (Add and configure fields)
Add를 클릭해 필드를 추가한 뒤 구성해요.
- 위 표에서 Type을 선택.
- Criteria 필드에서는 어떤 기준을 점수 매길지(Default 등급 또는 커스텀 기준 중 하나) 선택하고, 수집할 선택 입력(Explanation, Expected Output, Expected Outcome)을 토글.
- Single choice / Multiple choice 필드에서는 선택 가능한 Options를 정의.
- 주석자를 안내할 선택적 Description을 추가하고, 필드를 필수로 만들려면 Required를 토글.
필드를 드래그해 순서를 바꾸거나 휴지통 아이콘으로 제거해요.
Configuring fields in the annotation form editor
미리 보고 저장 (Preview and save)
Preview 탭으로 전환해 주석자가 정확히 무엇을 채우게 될지 확인한 뒤 Save를 클릭해요.
큐에 양식 연결하기 (Attach a Form to a Queue)
주석 큐를 만들 때 Form (optional) 드롭다운으로 양식을 선택해요. 이렇게 하면 큐의 기본 필드가 양식에 정의된 필드로 대체돼요. Default로 남겨 두면 대신 프로젝트의 주석 옵션을 사용해요.
Criteria 답변은 일반 주석으로 저장되어 주석이 표시되는 모든 곳 — Observatory, 테스트 케이스 세부사항, CSV 내보내기 — 에 나타나요. Custom 필드 답변은 양식 응답으로 저장되어 주석이 달린 트레이스·스팬·스레드·테스트 케이스 옆에 표시돼요.