eval 결과 이해하기

eval 결과 이해하기 (Understand eval results)

두 출력이 모두 실패할 수 있지만, 하나는 행동하기에 안전하지 않을 수 있고 다른 하나는 단순히 덜 도움이 될 뿐일 수 있어요. eval 결과를, 각 체크가 통과했는지 실패했는지만이 아니라, 누군가 출력에 따라 행동한다면 무엇이 잘못될 수 있는지의 관점에서 읽으세요.

출처: 문서

결과 유형	무엇을 의미하는가	무엇을 할까
신뢰성 실패	출력이 프롬프트·작업·소스에 근거하지 않은 세부사항(소스에 나타난 적 없는 결정 날짜 같은)을 도입함	다른 것보다 먼저 수정
품질 이슈	출력이 정확하지만 덜 명확하거나 유용함(위험이 왜 중요한지, 어떤 행동을 취해야 하는지 설명 없이 나열하는 것)	신뢰성이 통과한 뒤 개선

결과가 실패했다고 기록만 하지 마세요. 실패 패턴을 기록하세요.

실패 패턴	어떤 모습인가	왜 중요한가
지어낸 세부사항	소스 데이터에 없는 담당자·날짜·결정을 추가함	소스가 뒷받침하지 않는 정보에 기반한 잘못된 행동으로 이어짐
잘못된 결정 라벨링	논의를 결정으로 취급함	거짓된 확신을 만듦
누락 정보 무시	묻지 않고 계속함	누군가 행동하기 전에 반드시 해결해야 할 공백을 숨김
범위 드리프트	요청이나 데이터 경계 밖의 정보를 추가함	요청된 작업이나 결론을 바꿈

단일 실패는 많은 것을 말해주지 않아요. 반복되는 실패는 제품, 프롬프트, 데이터, 또는 eval의 공백을 가리켜요.

다음을 확인하세요:

같은 패턴이 여러 프롬프트에서 실패하면, 일회성 실수로가 아니라 소스에서 고칠 공백으로 취급하세요.

모든 실패가 모델이 바뀌어야 한다는 뜻은 아니에요. 원인은 불명확한 요구사항, 약한 프롬프트, 누락된 데이터, 또는 불일치한 단언(assertion)일 수 있어요.

올바른 문제를 고치세요. eval 자체가 불명확할 때 모델 동작을 바꾸지 마세요.

잘못된 행동을 유발할 수 있는 실패를, 유용성이나 표현 품질을 개선하기 전에 고치세요.

우선순위:

고립된 가장자리 케이스와 영향력이 낮은 품질 이슈는 미루세요.

결과가 다음에 할 일을 바꾸지 않는다면 eval은 어떤 결정에도 도움이 되지 않은 거예요.

사용할 것:

사용하지 말 것:

명확성, 어조, 마무리(polish)를 개선하기 전에 잘못된 행동을 유발할 수 있는 실패부터 고치세요.