eval 결과를 올바른 수정으로 바꾸기

eval 결과를 올바른 수정으로 바꾸기 (Turn eval results into the right fixes)

평가는 올바른 부분의 시스템을 바꿀 때만 도움이 돼요. 이전 단계에서 나온 각 공백 — 제품, 프롬프트, 데이터, 또는 eval — 은 서로 다른 수정을 가리켜요. 실패를 수정에 맞춰 매칭해서, 각 eval 사이클이 출력이 실제로 하는 일을 바꾸게 하세요. 점수 매김 방식만 바꾸는 게 아니라요.

출처: 문서

본문

각 실패를 올바른 수정에 맞추세요 (Match each failure to the right fix)

각 eval 사이클이 실제 동작을 개선하도록 루트 원인에 집중하세요.

영역별 수정 (Fixes by area)

한 영역을 바꾸고, 같은 eval을 다시 실행한 다음, 다음 영역으로 넘어가세요. 그래야 어떤 변경이 실패를 고쳤는지 알 수 있어요.

요구사항 명확성을 수정하세요 (Fix requirement clarity)

출력이 반드시 해야 하는 것을 명확히 하세요.

• 허용되는 것과 허용되지 않는 것을 명확히 하세요.
• 실패 조건을 명시적으로 만들세요.
• 결정(decision), 커밋(commitment), 필수 입력(required-input) 체크에 필요한 정확한 증거를 지정하세요.

실패가 불명확한 규칙을 보여주거나, 리뷰어가 같은 출력을 다르게 해석하거나, 요구사항이 모호해 한 시나리오에서는 통과하고 다른 것에서 실패할 때 요구사항에 집중하세요.

프롬프트 세트를 수정하세요 (Fix the prompt set)

동작이 테스트되는 방식을 바꾸세요.

• 실제 사용을 반영하는 프롬프트를 추가하세요.
• 실패를 드러내는 가장자리 케이스를 포함하세요.
• 실제 시나리오를 대표하지 않는 프롬프트는 제거하세요.

실패가 특정 표현에만 나타나거나, 모호함에서 동작이 깨지거나, 프롬프트 세트가 반복 패턴을 드러내기엔 너무 좁을 때 프롬프트에 집중하세요.

데이터와 컨텍스트를 수정하세요 (Fix data and context)

출력이 접근할 수 있는 것을 바꾸세요.

• 필수 입력이 사용 가능한지 확인하세요.
• 범위 안의 소스를 명확히 하세요.
• 필요한 정보가 없을 때 출력이 무엇을 해야 하는지 정의하세요.
• 충돌하거나 낡았거나 누락된 데이터를 해결하세요.

출력이 자신 있어 보이지만 틀렸거나, 실패가 누락되거나 불일치한 정보에서 오거나, 현재 입력으로는 올바른 동작이 불가능할 때 데이터와 컨텍스트에 집중하세요.

평가 체크를 수정하세요 (Fix evaluation checks)

결과가 측정되는 방식을 바꾸세요.

• 체크를 관찰 가능하고 반복 가능하게 만드세요.
• 주관적 기준을 제거하세요.
• 점수 규칙과 임계값을 정렬하세요.

리뷰어가 동의하지 않거나, 결과가 리뷰어·실행 간에 일관되지 않거나, 체크를 매번 같은 방식으로 적용하기 어려울 때 평가 체크에 집중하세요.

수정이 작동했는지 확인하세요 (Confirm the fix worked)

이전 단계의 우선순위 순서를 적용하세요: 신뢰성 실패와 반복 패턴을 먼저, 고립된 가장자리 케이스를 나중에. 그런 다음 수정이 동작을 바꿨는지 검증하세요.

• 같은 프롬프트를 다시 실행하세요.
• 실패가 여전히 나타나는지 확인하세요.
• 동작이 유사한 입력 전반에서 유지되는지 검증하세요.

결과가 바뀌지 않으면 수정은 실제 문제를 다루지 않은 거예요.

표면적 수정을 피하세요 (Avoid cosmetic fixes)

출력이 어떻게 들리는지 개선하는 변경은 동작을 고치지 않아요. 다음을 개선으로 취급하지 마세요:

• 오류를 고치지 않고 어조만 다시 쓰기
• 소스에 근거하지 않은 세부사항 추가하기
• 정확성을 높이지 않고 출력을 길게 만들기

동작이 바뀌지 않았다면 문제는 해결되지 않은 거예요.

핵심 메시지 (Key takeaway)

증상이 아니라 원인을 고치세요. 같은 실패가 다시 나타나면, 그 변경은 동작을 고치지 않은 거예요.

더 알아보기 (Learn more)

• eval 결과 이해하기 — 실패 분류하기
• 시간 경과에 따른 품질 추적 — 회귀 감지