주석 큐(Annotation Queues)

주석 큐(Annotation Queues)

Annotation Queues는 도메인 전문가가 traces, observations, sessions에 점수와 코멘트를 추가하도록 만들어진 수동 평가 방법입니다. 이 문서는 큐 생성, 항목 추가, 큐 처리 방법, QA 팀과 함께 실험 결과를 검토하는 방법, 키보드 단축키를 설명해요.

출처: 문서

본문

Annotation Queues는 도메인 전문가가 traces, observations 또는 sessions에 scores 와 코멘트를 추가하도록 만들어진 수동 평가 방법 입니다.

왜 Annotation Queues를 사용하나요?

• 애플리케이션 결과를 수동으로 탐색하고 점수와 코멘트 추가
• 도메인 전문가가 일부 traces에 점수와 코멘트를 추가하도록 허용
• 수정된 출력(corrected outputs) 을 추가해 모델이 생성했어야 할 것을 기록
• LLM-as-a-Judge 평가를 인간 주석과 정렬

단계별 설정

새 Annotation Queue 만들기

• New Queue를 클릭해 새 큐를 만듭니다.
• 이 큐에 사용할 Score Configs 를 선택합니다.
• Queue name과 Description(선택)을 설정합니다.
• 사용자를 큐에 할당합니다(선택).

Annotation Queue는 주석 작업의 점수 차원을 정의하는 score config가 필요합니다. 자세한 내용은 Score Config 생성·관리 방법 을 참고하세요.

큐에 Traces, Observations, Sessions 추가

주석 큐를 만든 뒤 traces, observations, sessions를 큐에 할당할 수 있습니다. 여러 traces, sessions, observations를 큐에 추가하려면:

• 체크박스로 Traces, Observations, Sessions 선택
• "Actions" 드롭다운 메뉴 클릭
• 저장하려는 traces, sessions, observations를 위해 Add to queue 클릭
• traces, sessions, observations를 추가할 큐 선택

단일 traces, sessions, observations를 추가하려면:

• Annotate 드롭다운 클릭
• trace, session, observation를 추가할 큐 선택

Annotation Queue 처리

큐의 각 항목에 대한 주석 작업이 표시됩니다.

• Annotate 카드에서 정의된 차원에 점수 추가
• Complete + next를 클릭해 다음 주석 작업으로 이동하거나 큐를 마칩니다

QA 팀과 함께 실험 결과 검토

큐를 사용해 실험 결과를 도메인 전문가에게 넘겨 답변을 검토하고, 출처를 확인하고, 실패를 설명하게 하세요.

엔지니어 설정

• 테스트 케이스에서 애플리케이션을 실행하거나 저장된 체크 결과를 게시 합니다. 문제, 관련 소스 자료, 참고 답변, 케이스 ID를 포함하세요.
• 실험 실행을 비교 하고 Annotate 드롭다운으로 관련 observations를 주석 큐에 추가합니다. 버전 비교에서는 두 버전을 모두 포함하고 큐 설명에 baseline과 candidate를 식별하세요.
• answer_correct 같은 점수를 구성하고 무엇이 통과인지 설명합니다. 릴리스 정책과 검토 지침을 큐 설명에 포함하세요. 검토자가 숫자 점수에서 이를 추론하도록 요청하지 마세요.
• 조직 Admin이나 Owner가 점수를 매길 수 있는 역할(예: Member)로 검토자를 초대 합니다. Viewer는 결과를 읽을 수 있지만 주석은 할 수 없습니다. 필요하면 검토자를 큐에 할당하세요. 큐 할당은 프로젝트 접근을 부여하지 않습니다. 프로젝트별 역할은 플랜에 따라 다릅니다.

검토자 단계

• 큐를 열고 문제, 지원 소스, 참고 답변, 애플리케이션 출력을 읽습니다. 더 많은 컨텍스트가 필요하면 연결된 observations를 검사하세요.
• 구성된 점수를 기록합니다. 실패를 설명하고 이를 뒷받침하는 증거를 코멘트로 추가합니다. 자동 체크가 틀렸다면, 애플리케이션을 틀렸다고 표시해 맞추기보다 그렇게 말하세요.
• 애플리케이션이 반환했어야 할 답변을 제공할 수 있다면 수정된 출력 을 추가합니다. 항목을 완료하고 다음으로 이동합니다.

검토 후 엔지니어는 제안된 수정을 확인하고 검토된 답변을 expected output으로 사용해 승인된 케이스를 데이터셋 에 추가합니다. 수정은 데이터셋을 자동 업데이트하거나 릴리스를 승인하지 않습니다. 출처 추적을 위해 원래 run과 케이스 ID를 유지하고, 새 데이터셋 버전을 승인하며, 입력이나 expected output이 변경됐다면 두 애플리케이션 버전을 모두 재실행하세요. 그레이더만 변경됐다면 그 정의로 두 버전을 모두 다시 점수 매기세요.

키보드 단축키

큐 처리는 완전히 키보드로 할 수 있어 마우스 없이도 항목에 점수를 매길 수 있습니다. 단축키는 이동-후-편집(navigate-then-edit) 모델을 따르며, 텍스트 필드에 입력 중이거나 다이얼로그/드롭다운이 열려 있으면 비활성화됩니다. 큐에서 ?를 누르면 앱 내 치트시트가 열립니다.

범주형 옵션에 포커스가 있으면 번호 배지가 나타나고, Mark Completed 버튼에는 ⌘↵ / Ctrl↵ 힌트가 표시됩니다. 점수 필드 단축키(↑/↓, 1–9, Enter, Esc)는 trace, observation, session 페이지의 인라인 Annotate 드로어에서도 동작합니다. 큐 탐색 키(→/←, Cmd/Ctrl + Enter)는 큐를 처리할 때 적용됩니다.

API로 Annotation Queues 관리

API 를 통해 주석 큐를 관리할 수 있습니다. 이를 통해 주석 워크플로우를 확장·자동화하거나 Langfuse를 커스텀 vibe-coded 주석 도구 의 기반으로 사용할 수 있습니다.

더 알아보기 (Learn more)

• 출처 문서: 주석 큐(Annotation Queues)