랭퓨즈 어시스턴트

랭퓨즈 어시스턴트 (Langfuse Assistant)

Langfuse Assistant는 제품 안에서 제공되는 어시스턴트예요. Langfuse 프로젝트 데이터를 탐색하고, 승인을 받은 뒤 Langfuse에서 실제 작업을 수행할 수 있어요. trace, observation, session, 메트릭을 물어보거나, dataset·대시보드 같은 리소스를 만들도록 요청할 수 있어요.

출처: 문서

본문

이 기능은 어디서 사용할 수 있나요?

  • Hobby: 사용 가능
  • Core: 사용 가능
  • Pro: 사용 가능
  • Enterprise: 사용 가능
  • Self Hosted: 공개 베타

셀프호스팅의 경우 Assistant는 v4.28.0부터 공개 베타이며, 인스턴스 전역 Langfuse AI 모델과 worker queue consumer가 필요해요. 셀프호스팅 설정을 참고하세요.

Langfuse Assistant는 제품 안에서 제공되는 어시스턴트로, Langfuse 프로젝트 데이터를 탐색하고 사용자의 승인을 받아 Langfuse에서 작업을 수행해요. trace, observation, session, 메트릭에 대해 물어볼 수도 있고, dataset·대시보드 같은 리소스를 만들도록 요청할 수도 있어요. 모든 실행은 백그라운드에서 일어나며, Assistant가 끝났거나 사용자의 입력·승인이 필요하면 알림을 받아요.

할 수 있는 것 (What you can do)

Assistant에게 데이터와 Langfuse 자체에 대해 물어볼 수 있어요:

  • "어제 가장 지연시간이 높았던 trace는 무엇인가요?"
  • "지난 1시간 동안 실패한 generation들을 보여줘."
  • "이번 주 토큰 지출을 모델별로 나눠서 알려줘."
  • "평가기(evaluator)는 어떻게 설정하나요?"

또는 작업을 수행하도록 요청할 수 있어요:

  • "지난주 실패한 generation들로 dataset을 만들어줘."
  • "지난 7일 동안의 에러율과 p95 지연시간 대시보드를 만들어줘."
  • "이 프롬프트를 현재 모범 사례에 맞춰 검토하고 더 타이트한 버전을 제안해줘."
  • "지난 7일 동안 몇 백 개의 실패한 observation을 가져와서 코드로 주요 에러들을 클러스터링해줘."
  • "친근함(friendliness)에 대한 숫자형 score config를 설정해줘."
  • "오늘 에러로 필터링된 traces 테이블을 열어줘."

작동 방식 (How it works)

Assistant는 Langfuse MCP 서버와 추가 도구를 사용해 질문에 답하고, 프로젝트 데이터를 검사하며, Langfuse에서 작업을 수행하도록 도와줘요.

Assistant는 다음을 할 수 있어요:

  • Langfuse 도구를 통해 trace, observation, session, 메트릭을 조회
  • 대규모 observation 세트를 가져와서 모델 컨텍스트에 모든 페이로드를 로드하는 대신 sandbox에서 코드로 처리
  • Langfuse 문서 검색
  • trace, session, 대시보드, 프롬프트, dataset, experiment, eval, alert, 프로젝트 설정 같은 Langfuse 페이지 링크 제안
  • dataset, 대시보드, 위젯, 프롬프트, score config 같은 Langfuse 리소스 생성 또는 업데이트

Assistant는 기본적으로 안전하게 설계됐어요:

  • 요청이 데이터나 설정을 변경하는 것이면, Assistant는 멈추고 해당 특정 작업을 먼저 승인해 달라고 요청해요.
  • 도구에 대해 Always approve(항상 승인) 를 선택하면, Assistant는 그 도구를 다시 묻지 않고 재사용해요. 이 선택은 해당 대화에만 적용돼요.
  • Assistant는 현재 프로젝트에서 사용자의 계정이 이미 접근 권한을 가진 작업만 수행할 수 있어요. 승인은 두 번째 안전 검사를 추가하는 것이지, 추가 권한을 부여하는 게 아니에요.

Assistant는 현재 trace, observation, session, 대시보드 같은 Langfuse UI에서의 현재 컨텍스트와, 이름·브라우저 언어·시간대 같은 사용자 메타데이터도 인지하고 있어요. 이 컨텍스트는 더 관련성 높은 답변과 작업 제안을 제공하는 데 사용돼요.

백그라운드 실행 (Background runs)

모든 Assistant 실행은 브라우저와 독립적으로 백그라운드에서 일어나요. 실행이 진행되는 동안에도 Langfuse를 계속 사용하거나 다른 대화를 시작할 수 있어요. 작업이 끝나거나 실패하거나, 입력·승인이 필요할 때 알림을 받아요.

한 대화에서 반복되는 작업을 위해, 방치해도 괜찮은 도구에 Always approve를 선택하면 그 대화의 나머지 동안 Assistant는 그 도구를 다시 묻지 않고 사용해요.

데이터 개인정보와 보안 (Data privacy and security)

Assistant는 다른 Langfuse AI 기능과 동일한 데이터 처리 모델을 따르며, 정확한 보안·개인정보 상세는 AI Features 문서를 참고하세요.

핵심 사항:

  • Langfuse Cloud에서는 모델 요청이 사용자의 Langfuse 데이터 리전에서 Langfuse가 관리하는 Amazon Bedrock을 사용해요. 셀프호스팅 배포에서는 인스턴스에 설정한 Langfuse AI 모델을 사용해요.
  • Assistant 접근은 인증된 사용자와 현재 프로젝트로 범위가 제한돼요.
  • 데이터를 변경할 수 있는 작업은 승인이 필요하며, 로그인한 사용자의 권한으로 제한돼요.
  • 제품·서비스 개선을 위한 AI 기능 추적은 조직 관리자와 소유자가 별도로 활성화·비활성화할 수 있어요.

대화 기록 (Conversation history)

Assistant 대화는 사용자와 프로젝트별로 저장되어 이전 대화로 돌아갈 수 있어요.

피드백 (Feedback)

Assistant 응답에 thumbs-up 또는 thumbs-down 피드백을 남길 수 있어요. AI 기능 추적이 활성화되어 있으면 피드백이 제품·서비스 개선에 사용될 수 있어요.

피드백 토론에서도 생각을 공유할 수 있어요.

제한사항 (Limitations)

Assistant가 질문을 오해하거나 불완전한 결과를 반환할 수 있어요. 행동하기 전에 중요한 답변을 검증하고 작업 세부사항을 주의 깊게 검토하세요.

  • 셀프호스팅 Assistant 설정
  • AI 기능 보안 (AI Feature Security)
  • Langfuse MCP 서버
  • Langfuse Agent Skill
  • Langfuse Assistant 공지

더 알아보기 (Learn more)