Arena에서 프롬프트와 모델 비교하기

Arena에서 프롬프트와 모델 비교하기 (Compare Prompts & Models in Arena)

프롬프트, 모델, AI 연결(AI Connection)을 전체 평가를 실행하지 않고도 나란히 빠르게 비교하고 싶을 때 Arena를 사용해요. 데이터셋과 메트릭을 세팅하는 부담 없이 한 번에 결과를 확인할 수 있는 가벼운 비교 도구예요.

출처: 문서

본문

개요

Arena는 빠른 비교를 위한 가벼운 도구예요. 서로 다른 프롬프트, 모델, AI 연결이 어떻게 동작하는지 — 데이터셋과 메트릭으로 전체 평가를 세팅하지 않고도 — 빠르게 확인하고 싶을 때 이상적이에요.

이런 상황에서 Arena를 사용해요:

  • 어떤 프롬프트 변형이 더 나은 아웃풋을 만드는지 프롬프트 변형을 비교하고 싶을 때
  • 커밋 전에 기존 모델과 새 모델을 테스트해 보고 싶을 때
  • 프롬프트를 반복 개선하며 즉각적인 피드백을 원할 때
  • 이해관계자에게 구성 간 차이를 데모하고 싶을 때
  • 아직 데이터셋이 없고 직관(vibes)에 의존하고 싶을 때

Arena는 빠르고 정성적인 비교를 위한 도구예요. 메트릭과 테스트 데이터셋으로 평가하려면 대신 실험(experiments)을 수행하세요.

동작 방식

Arena에서는 두 개 이상의 "참가자(contestant)"를 설정하고 같은 인풋을 모두에 동시에 실행해요. 각 참가자는 프롬프트(Prompt) 또는 AI 연결(AI Connection)(자세히 보기) 중 하나가 될 수 있어요.

  1. 참가자 설정 — 비교할 참가자를 두 개 이상 구성해요
  2. 메시지 입력 — 또는 기존 프롬프트나 AI 연결 사용
  3. 변수 보간(interpolation) — 있다면 인풋의 동적 변수를 입력해요
  4. Quick Run 누르기 — 모든 참가자를 실행하고 결과를 나란히 확인해요

조합도 자유로워요 — 예를 들어 새 프롬프트를 운영 중인 AI 연결과 비교해 배포 준비가 됐는지 확인할 수 있어요.

Video

Arena 개요

Arena 사용하기

Arena로 이동

사이드바에서 Project > Arena로 이동해요.

베이스 런 구성

베이스 런(base run)은 시작점이에요. 아웃풋을 어떻게 생성할지 선택해요:

프롬프트 (Prompt)

Arena에서 프롬프트 구성

  1. 모델 프로바이더(예: OpenAI)와 모델(예: gpt-4.1)을 선택해요
  2. 메시지 컴포저에 프롬프트를 입력해요 — {variable_name} 같은 변수를 사용할 수 있어요
  3. 선택적으로 Settings를 클릭해 모델 파라미터를 구성해요

Select prompt... 드롭다운으로 Prompt Studio에 저장된 프롬프트를 불러오거나, Save Prompt를 클릭해 현재 프롬프트를 나중을 위해 저장할 수 있어요.

AI 연결 (AI Connection)

Arena에서 AI 연결 구성

  1. 드롭다운에서 기존 AI 연결을 선택해요
  2. 선택적으로 연결에 프롬프트를 연관시켜요
  3. 변경 사항을 저장하려면 Update AI Connection을 클릭해요

비교 런 추가

Add Contestant를 클릭해 필요한 만큼 비교 런을 추가해요. 각 참가자는 독립적으로 구성되며, 각각 프롬프트 또는 AI 연결 중 하나를 고를 수 있어요.

흔한 비교 조합:

  • 프롬프트 vs 프롬프트 — 같은 모델에서 서로 다른 프롬프트 변형 비교
  • 모델 vs 모델 — 여러 모델에서 같은 프롬프트 비교
  • 프롬프트 vs AI 연결 — 운영 시스템 대비 새 프롬프트 테스트

변수 값 설정

프롬프트에 변수가 있다면 하단의 Variables 패널을 펼쳐 값을 넣어요. 이 값들은 실행 전에 모든 프롬프트에 보간돼요.

동적 변수 설정

비교 실행

두 가지 옵션이 있어요:

  • Quick Run — 모든 참가자를 즉시 실행하고 인라인으로 결과 확인
  • Run as Experiment — 더 상세한 분석을 위해 추적되는 실험으로 비교 실행

결과는 각 참가자 아래에 표시되어 아웃풋을 나란히 비교할 수 있어요.

Arena Quick Run

고급 프롬프트 사용법

이미지 포함

이미지를 메시지 컴포저에 끌어다 놓기(drag and drop)만 하면 Arena 비교에 이미지를 포함할 수 있어요. 비전(vision) 지원 모델을 이미지 인풋으로 테스트할 때 유용해요.

Arena 프롬프트에 이미지 포함

이미지 인풋을 지원하는 모델(예: GPT-4o, Claude 3, Gemini Pro Vision)만 이미지를 기반으로 응답을 생성할 수 있어요. 참가자가 비전 기능이 없는 모델을 사용하면 인풋의 텍스트 부분만 처리해요.

모델 구성

같은 프롬프트에서 서로 다른 모델 구성을 비교할 수도 있어요. 예를 들어 Anthropic vs OpenAI 모델로 quick run을 실행하거나, 모델 파라미터를 바꿔볼 수도 있어요:

프롬프트의 모델 구성

비교 팁

  • 한 번에 하나의 변수만 테스트 — 참가자 간에 프롬프트 OR 모델만 바꿔 차이를 일으키는 원인을 분리해요
  • 현실적인 인풋 사용 — 실제 유스케이스를 대표하는 인풋으로 테스트해요
  • 엣지 케이스 시도 — 특이하거나 까다로운 인풋을 서로 다른 구성이 어떻게 처리하는지 비교해요
  • 우승 프롬프트 저장 — 잘 작동하는 프롬프트를 찾으면 Prompt Studio에 저장해 평가에 사용해요

다음 단계

작동하는 구성을 찾았다면(🎉) 한 단계 더 나아가 — 데이터셋으로 전체 실험을 실행해 통계적으로 의미 있는 결과를 얻어보세요.

실험 (Experiments)

데이터셋과 메트릭을 사용해 AI 앱의 2개 이상 버전을 비교하는 체계적인 평가를 실행해요.

더 알아보기