LLM 플레이그라운드

LLM 플레이그라운드 (LLM Playground)

Langfuse 프롬프트 플레이그라운드에서 프롬프트를 직접 테스트하고 반복 개선할 수 있어요. 프롬프트와 모델 파라미터를 조정하면서 서로 다른 모델이 이 입력 변경에 어떻게 반응하는지 확인할 수 있죠. 도구를 오가거나 코드를 쓸 필요 없이 프롬프트를 빠르게 반복하고 LLM 앱에서 최상의 결과로 최적화할 수 있어요.

출처: 문서

본문

핵심 기능

나란히 비교 뷰 (Side-by-Side Comparison View)

여러 프롬프트 변형을 나란히 비교하세요. 한 번에 모두 실행하거나 단일 변형에 집중할 수 있어요. 각 변형은 자체 LLM 설정, 변수, 도구 정의, 플레이스홀더를 유지하므로 모든 변경의 영향을 즉시 확인할 수 있어요.

플레이그라운드에서 프롬프트 열기

Langfuse 프롬프트 관리로 만든 프롬프트를 플레이그라운드에서 열 수 있어요.

프롬프트를 프롬프트 관리에 저장하기

프롬프트가 만족스러우면 저장 버튼을 클릭해 프롬프트 관리에 저장할 수 있어요.

플레이그라운드에서 generation 열기

generation 상세 페이지의 Open in Playground 버튼을 클릭해 Langfuse Observability의 generation을 플레이그라운드에서 열 수 있어요.

도구 호출과 구조화된 출력

Langfuse 플레이그라운드는 도구 호출과 구조화된 출력 스키마를 지원해요. 도구 호출에 의존하고 특정 응답 형식을 강제하는 LLM 실행을 정의, 테스트, 검증할 수 있죠.

현재 Langfuse는 도구 유형 observation을 플레이그라운드에서 열 때 OpenAI ChatML 형식일 때만 지원해요. 추가 형식 지원을 원한다면 공개 로드맵에 요청을 남겨 주세요.

도구 호출 (Tool Calling)

  • JSON 스키마 정의로 커스텀 도구 정의
  • 도구 응답을 목(mock)해 도구에 의존하는 프롬프트를 실시간 테스트
  • 도구 정의를 프로젝트에 저장

구조화된 출력 (Structured Output)

  • JSON 스키마로 응답 형식 강제
  • 스키마를 프로젝트에 저장
  • 구조화된 출력을 사용하는 OpenAI generation에서 플레이그라운드로 바로 이동

프롬프트 변수 추가

프롬프트의 다른 입력을 시뮬레이션하기 위해 플레이그라운드에서 프롬프트 변수를 추가할 수 있어요.

좋아하는 모델 사용하기

Langfuse 프로젝트 설정에 사용하려는 모델의 API 키를 추가해 좋아하는 모델을 사용할 수 있어요. LLM 연결 설정 방법을 알아보세요.

선택적으로, 많은 LLM 공급자가 모델 호출 시 추가 파라미터를 허용해요. 모델 선택 드롭다운에서 "Additional Options"를 토글해 플레이그라운드에서 이 파라미터를 전달할 수 있어요. 추가 공급자 옵션에 대한 자세한 내용은 이 문서를 참고하세요.

관련 자료

  • 데이터셋에서 프롬프트 및 모델 변형에 대한 구조화된 회귀 테스트를 하려면 Experiments를 사용하세요.

GitHub Discussions

이 주제에 대한 토론에 참여해 보세요.

더 알아보기 (Learn more)