무엇을 먼저 평가할지 정하기

무엇을 먼저 평가할지 정하기 (Decide what to evaluate first)

사람들이 결정을 내리거나 행동하기 위해 사용하는 출력에 우선순위를 두세요. 실패가 누군가에게 잘못된 다음 단계를 밟게 하거나, 잘못된 계획을 갱신하게 하거나, 확정되지 않은 논의를 확정된 결정으로 취급하게 할 수 있다면 더 우선이에요. 이 페이지에서는 영향력이 큰 출력에 집중하고, 근거(grounding)부터 확인하며, 지금 평가할지 나중에 미룰지 판단하는 기준을 살펴볼게요.

출처: 문서

본문

사람들이 결정을 내리거나 행동하기 위해 사용하는 출력을 우선시하세요. 특히 실패가 누군가로 하여금 다음을 하게 할 수 있을 때요:

• 잘못된 다음 단계를 밟게 할 때
• 잘못된 계획, 기록, 또는 워크플로를 갱신하게 할 때
• 잘못된 작업을 배정하거나 우선순위를 매기게 할 때
• 해결되지 않은 논의를 확정된 결정으로 취급하게 할 때
• 핵심 맥락 없이 또는 잘못된 가정에 기반해 행동하게 할 때

이런 출력은 사람들이 원본 출처나 맥락으로 돌아가지 않고 의존할 수 있기 때문에 가장 중요해요.

영향력이 큰 출력에 집중하기

먼저 근거(grounding) 확인하기

출력이 이용 가능한 정보에 근거하고 있는지 확인하는 것부터 시작하세요.

근거가 실패하면 그 외의 모든 것을 평가하기 전에 먼저 그것을 고치세요.

근거가 유지되면, 출력이 작업을 지원하는지 평가하세요.

명확한 통과·실패 검사로 시작하기

다음과 같은 통과·실패 검사를 사용하세요.

• 출력에서 관찰 가능할 것
• 프롬프트와 맥락을 넘어 반복 가능할 것
• 검토자 간에 일관될 것

다음과 같은 검사부터 시작하세요.

다음은 경험의 요점이 아니라면 나중에 집중하세요:

• 창의성이나 개성
• 글쓰기 스타일 선호
• 같은 요청에 대한 다른 문구
• 응답이 단계별 추론을 보여주는지 여부

예시

통과 사례 (Pass case)

출처 자료: 회의 노트에 명시적 결정 하나, 배정된 소유자 둘, 해결되지 않은 항목 하나가 포함되어 있음.

예상 AI 출력:

• 명시적 결정만 나열
• 이름이 명시된 두 소유자만 배정
• 해결되지 않은 항목을 해결되지 않은 것으로 표시
• 날짜를 지어내지 않고 누락된 마감일을 요청

실패 사례 (Fail case)

출처 자료: 논의에 최종 결정 없이 옵션만 포함되어 있음.

문제 있는 AI 출력:

• 최종 결정이 내려졌다고 명시
• 노트에 없는 소유자를 배정
• 노트에 없는 마감일을 포함

실패 이유: 잘못된 행동을 초래할 수 있는 뒷받침되지 않은 세부사항을 도입함

채점을 관찰 가능한 출력에 집중하기

더 좋게 들린다고 출력 점수를 더 높게 주지 마세요.

다음을 보상하지 않도록 주의하세요:

• 내용이 틀렸거나 불완전할 때의 자신만만하거나 친근한 문구
• 뒷받침되지 않은 결정, 날짜, 또는 소유권을 도입하는 추가 디테일
• 일관되게 채점하기 어려운 주관적 특성

지금 평가할지 나중에 미룰지 결정하기

핵심 요점 (Key takeaway)

사람들이 결정하거나 행동하기 위해 의존하는 출력부터 시작하세요. 실패가 누군가가 하는 일을 바꾸지 않는다면, 그것은 시작할 올바른 자리가 아니에요.

더 알아보기 (Learn more)

• Define good output quality
• Build a prompt set and assertions for an eval