싱글턴 vs 멀티턴 평가

싱글턴 vs 멀티턴 평가 (Single vs Multi-Turn Evals)

LLM 평가는 크게 싱글턴(single-turn)과 멀티턴(multi-turn) 두 가지 방식으로 나뉘어요. 어떤 유스케이스가 어느 쪽에 속하는지부터 파악하는 게 평가 설계의 첫 단추예요. 이 글에서는 두 방식이 무엇이 다른지, 그리고 각각 어떤 상황에 어울리는지를 하나씩 짚어볼게요.

출처: 문서

본문

개요

아주 포괄적으로 보면 모든 평가는 싱글턴 아니면 멀티턴 평가로 분류할 수 있어요. 각 평가 방식은 서로 다른 것을 요구해요:

메트릭(Metrics) — 멀티턴 메트릭은 대화에서 이전 컨텍스트를 고려해요
테스트 케이스(Test cases) — 멀티턴 테스트 케이스는 이전 턴(과거 대화)을 담고 있어요
골든스와 데이터셋(Goldens and datasets) — 멀티턴 골든스와 데이터셋은 개별 인풋이 아니라 시나리오 단위로 벤치마킹해요

그래서 두 방식의 차이와, 여러분의 유스케이스가 어느 쪽에 속하는지 이해하는 게 중요해요.

싱글턴 평가 (Single-Turn Evals)

싱글턴은 대화가 아닌 모든 것을 대상으로 해요. 멀티스텝 에이전트(multi-step agent)가 멀티턴처럼 보일 수 있지만, 실제로는 그렇지 않은 경우가 많아요. 실제로 대부분의 유스케이스가 싱글턴에 속해요:

요약기(Summarizers)
RAG QA
자율 에이전트(Autonomous agents)
그 외

싱글턴 테스트는 싱글턴 골든스로 구성된 싱글턴 데이터셋을 필요로 해요. 평가 중에는 이전 섹션의 퀵스타트에서 본 것처럼, 이 골든스가 싱글턴 테스트 케이스로 변환되고, 그것이 싱글턴 **테스트 런(test run)**을 만들어요.

싱글턴 워크플로우는 deepeval 전반에 걸쳐 항상 싱글턴 프리미티브(primitive)를 사용한다는 점을 눈여겨보세요.

싱글턴 테스트에는 두 가지 방식이 있어요:

싱글턴 E2E 테스트

LLM 앱을 블랙박스로 취급하고, 시스템 인풋과 아웃풋만 고려해요
컴포넌트에 대한 가시성은 LLM 트레이싱(tracing)을 통해 여전히 확보할 수 있어요

적합한 대상: 원시 LLM API, 단순한 RAG 또는 애플리케이션 아키텍처로 개발하는 팀

싱글턴 컴포넌트 레벨 테스트

리트리버(retriever), LLM, 툴 콜(tool call)을 개별적으로 검증해요
시스템의 최종 인풋과 아웃풋만 평가하는 데 그치지 않아요

적합한 대상: 에이전틱 워크플로우(agentic workflow)나 복잡한 애플리케이션 아키텍처를 만드는 팀

멀티턴 평가 (Multi-Turn Evals)

멀티턴 유스케이스는 대화가 있는 모든 것을 대상으로 해요. 여기에는 다음이 포함돼요:

대화형 에이전트(Conversational agents)
보이스 AI 에이전트(Voice AI agents)
LLM 챗봇(LLM Chatbots)

대화 평가는 싱글턴 작업보다 더 복잡해요. 각 응답이 가장 최근 인풋뿐 아니라 전체 대화 히스토리에 의존하기 때문이죠. 멀티턴 평가는 LLM 앱이 다음을 얼마나 잘 수행하는지 측정하는 방식으로 이를 반영해요:

컨텍스트를 유지하는지
턴을 넘나들며 리트리벌 컨텍스트와 툴 콜링을 처리하는지
대화를 앞으로 이끌어가는지

이 설정에서는 싱글턴 골든스의 개별 인풋 대신 멀티턴 골든스의 시나리오를 기준으로 벤치마킹해요. 시나리오가 중요한 이유는, 성공 여부를 어떤 단일 턴만 떼어놓고 판단할 수 없고 전체 상호작용을 통해서만 판단할 수 있기 때문이에요.

시나리오(scenario)는 대화가 해결하려는 종단 간 상황을 뜻해요(예: 문제 해결, 항공권 예약, 제품 반품).

멀티턴에는 종단 간 테스트(end-to-end testing)만 사용할 수 있어요:

멀티턴 E2E 테스트

리트리버, LLM, 툴 콜을 개별적으로 검증해요
시스템의 최종 인풋과 아웃풋만 평가하는 데 그치지 않아요

적합한 대상: 에이전틱 워크플로우나 복잡한 애플리케이션 아키텍처를 만드는 팀

다음 단계

이제 테스트 케이스, 골든스, 데이터셋에 대해 배워보세요. 이 개념들은 LLM 앱이 Confident AI 생태계 안에서 실제로 어떻게 표현되는지 이해하게 해주고, 앞으로 다양한 메트릭을 다룰 때 훨씬 수월하게 만들어줘요.

싱글턴 vs 멀티턴 평가