다중 턴 대화 테스트하기

이 how-to 가이드는 Playground를 다중 턴 대화용으로 설정하는 다양한 방법을 안내합니다. 이를 통해 더 긴 메시지 스레드에 대해 다양한 도구 구성과 시스템 프롬프트를 테스트할 수 있어요.

출처: 문서

본문

먼저, 다중 턴 대화를 제대로 트레이싱했는지 확인하고 트레이싱 프로젝트로 이동합니다. 트레이싱 프로젝트에 도달하면 실행을 열고 LLM 호출을 선택한 뒤 다음과 같이 Playground에서 엽니다.

그런 다음 시스템 프롬프트를 편집하고, 도구 및/또는 출력 스키마를 조정하며, 다중 턴 대화의 출력이 어떻게 바뀌는지 관찰할 수 있습니다.

시작하기 전에 데이터셋을 설정했는지 확인하세요. 다중 턴 대화를 평가하고 싶으므로 입력에 메시지 목록을 포함하는 키가 있는지 확인하세요.

데이터셋을 만든 뒤 Playground로 이동해 평가할 데이터셋을 로드합니다.

그런 다음 프롬프트에 메시지 목록 변수를 추가하고, 입력에서 메시지 목록을 포함하는 키와 같은 이름으로 지정합니다:

프롬프트를 실행하면 각 예제의 메시지가 'Messages List' 변수 자리에 목록으로 추가됩니다.

다중 턴 대화를 수동으로 만드는 방법은 두 가지입니다. 첫 번째는 프롬프트에 메시지를 단순히 추가하는 것입니다.

이것은 빠른 반복에 유용하지만, 다중 턴 대화가 하드코딩되어 있으므로 유연하지 않습니다. 대신 프롬프트가 모든 다중 턴 대화와 함께 동작하길 원한다면 'Messages List' 변수를 추가하고 거기에 다중 턴 대화를 넣을 수 있습니다:

이렇게 하면 시스템 프롬프트나 도구만 조정하면 되고, 모든 다중 턴 대화가 Messages List 변수 자리를 차지할 수 있어 다양한 실행에서 이 프롬프트를 재사용할 수 있습니다.

이제 Playground를 다중 턴 상호작용용으로 설정하는 방법을 알았으므로, 출력을 수동으로 검사·판단하거나 평가자를 추가해 결과를 분류할 수 있습니다.

또한 이 how-to 가이드들을 읽고 Playground를 사용해 평가를 실행하는 방법을 더 배울 수 있습니다.