용어집

용어집 (Glossary)

이 용어집은 Langfuse 문서 전반에서 사용되는 핵심 용어와 개념의 정의를 제공해요. 아래 필터로 카테고리별로 탐색하거나 특정 용어를 검색할 수 있어요.

출처: 문서

본문

필터: Observability | Evaluation | Prompts | SDK | Platform | API

(총 62개 용어)

A

Agent (Observation Type)

Observability

다단계 추론 과정, 도구 조정, 자율 의사결정을 포함한 AI 에이전트 워크플로를 나타내는 observation 유형이에요. 에이전트 동작과 상호작용을 추적하는 데 사용돼요.

Agent Graph

Observability

Langfuse에서 복잡한 AI 에이전트 워크플로를 시각적으로 표현한 것이에요. trace 내 observation의 흐름을 표시해 다단계 추론 과정과 에이전트 상호작용을 이해하고 디버깅하는 데 도움을 줘요.

Agentic Access

Platform

Langfuse Agent Skill, CLI 또는 MCP 서버를 통해 AI 에이전트가 observability·평가·프롬프트 관리에 걸쳐 Langfuse 데이터와 워크플로를 프로그래밍 방식으로 사용하는 방법이에요.

AI Engineering Loop

Observability | Evaluation

프로덕션 가시성과 개발 워크플로를 연결해 AI 기반 시스템을 지속적으로 개선하는 생명주기예요. 실제 동작의 트레이싱·모니터링에서 데이터셋 구축, 실험 실행, 변경 평가로 이동한 뒤 사이클이 다시 시작돼요.

Annotation Queue

Evaluation

도메인 전문가가 trace·observation·session을 검토하고 점수와 댓글을 추가할 수 있게 하는 수동 평가 방법이에요. ground truth 구축, 체계적 라벨링, 팀 협업에 유용해요.

API Key

Platform | API

Langfuse API와 SDK 인증에 사용되는 자격 증명이에요. API 키는 public key와 secret key로 구성되며 특정 프로젝트와 연결돼요. 프로젝트 설정에서 관리해요.

B

Billable Unit

Platform

Langfuse Cloud 가격 책정의 측정 단위예요. 단위는 과금 기간 동안 수집된 trace·observation·score의 합이에요.

C

Chain (Observation Type)

Observability

retriever에서 LLM 호출로 컨텍스트를 전달하는 것처럼 서로 다른 애플리케이션 단계 간의 연결을 나타내는 observation 유형이에요.

Chat Prompt (Message Prompt)

Prompts

특정 역할(system, user, assistant)을 가진 메시지 배열로 구성된 프롬프트 유형이에요. 완전한 대화 구조와 채팅 기록을 관리하는 데 유용해요.

Custom Dashboards

Observability

LLM 애플리케이션의 메트릭을 시각화·모니터링할 수 있는 유연한 셀프서비스 분석 대시보드예요. 여러 차트 유형, 필터링, 다중 레벨 집계를 지원해요.

D

Dataset

Evaluation

LLM 애플리케이션을 테스트·벤치마킹하는 데 사용하는 테스트 케이스(데이터셋 항목)의 모음이에요. 데이터셋은 체계적 테스트를 위한 입력과 선택적으로 기대 출력을 포함해요.

Dataset Experiment (Dataset Run, Experiment Run)

Evaluation

Dataset Run이라고도 해요. LLM 애플리케이션을 통해 데이터셋을 실행해 평가할 수 있는 출력을 생성하는 것이에요. 데이터셋 항목을 해당 trace와 연결해요.

Dataset Item

Evaluation

데이터셋 내의 개별 테스트 케이스예요. 각 항목은 입력(테스트할 시나리오)과 선택적으로 기대 출력을 포함해요.

E

Embedding (Observation Type)

Observability

임베딩을 생성하기 위한 LLM 호출을 나타내는 observation 유형이에요. 모델 정보, 토큰 사용량, 비용을 포함할 수 있어요.

Environment

Observability

프로덕션·스테이징·개발 같은 서로 다른 배포 컨텍스트의 trace·observation·score를 조직화하는 방법이에요. 같은 프로젝트를 쓰면서 데이터를 분리하는 데 도움을 줘요.

Evaluation Method

Evaluation

trace·observation·session·dataset run을 점수화하는 함수예요. 주관적 평가의 LLM-as-a-Judge, 인간 검토의 Annotation Queues, 스팟 체크의 Scores via UI, 프로그래밍 평가의 Scores via API/SDK를 포함해요.

Evaluator (Scorer, Grader, Judge)

Observability

LLM 출력의 관련성·정확성·유용성을 평가하는 함수를 나타내는 observation 유형이에요. 실험 결과를 점수화하는 함수를 가리키기도 해요.

Event (Observation Type)

Observability

trace에서 개별 이벤트를 추적하는 기본 observation 유형이에요. Event는 트레이싱의 구성 요소예요.

F

Observability

사이드바에서 필터를 조합하는 대신 field:value 표현식으로 Observations·Traces 테이블을 필터링·검색하는 한 줄 쿼리 바예요. 연산자, 와일드카드, 부정, 그리고 평범한 언어 설명으로 필터를 작성하는 Ask AI 버튼을 지원해요.

Flush

SDK

버퍼링된 trace 데이터를 Langfuse 서버로 보내는 과정이에요. 프로세스가 종료될 때 데이터가 유실되지 않도록 하는 중요한 단기 애플리케이션 절차예요.

G

Generation (Observation Type)

Observability

프롬프트, 완성, 토큰 사용량, 비용을 포함해 AI 모델의 출력을 기록하는 observation 유형이에요. LLM 호출에서 가장 흔한 observation 유형이에요.

Guardrail (Observation Type)

Observability

악성 콘텐츠, jailbreak, 기타 보안 위험으로부터 보호하는 컴포넌트를 나타내는 observation 유형이에요.

I

Instance Switcher

Platform

사이드바 사용자 메뉴에 Langfuse 배포(예: development, staging, production)를 나열해 URL을 별도로 유지하지 않고 전환할 수 있게 하는 셀프호스팅 Enterprise Edition 기능이에요. Langfuse Cloud의 리전 스위처를 반영해요.

Instrumentation

SDK | Observability

애플리케이션 동작을 기록하는 코드를 추가하는 과정이에요. Langfuse는 애플리케이션을 계측하기 위한 컨텍스트 매니저, observe 래퍼, 수동 observation 메서드를 제공해요.

L

Langfuse Assistant

Platform

Langfuse Cloud에서 사용 가능한 제품 내 AI 어시스턴트로, 평범한 언어로 프로젝트 데이터와 Langfuse 워크플로를 탐색해요. Langfuse MCP 서버를 통해 trace·observation·session·메트릭을 조회하고, 문서를 검색하며, 확인하는 탐색 액션을 제안해요.

Langfuse CLI

API | Platform

Langfuse Public API를 감싸는 커맨드라인 도구로, 터미널이나 AI 코딩 에이전트에서 프롬프트·평가기·데이터셋 및 기타 리소스를 관리하게 해줘요. 서버의 API 버전 고정·자동 감지를 지원해 이전 릴리스를 실행하는 셀프호스팅 배포에서도 동작해요.

LLM Connection

Platform

Langfuse가 Playground 또는 LLM-as-a-Judge 평가에서 LLM 모델을 호출할 수 있게 하는 API 키 구성이에요. OpenAI, Anthropic, Google 같은 프로바이더를 지원해요.

LLM-as-a-Judge

Evaluation

맞춤 기준에 따라 애플리케이션 출력을 LLM으로 점수화하는 평가 방법이에요. chain-of-thought 추론으로 확장 가능하고 반복 가능한 평가를 제공해요.

Log View

Observability

모든 observation을 연결해 보여주는 뷰예요. 빠르게 스캔하기에 좋아요.

M

MCP Server

Platform

AI 지원 도구가 Langfuse 데이터와 상호작용할 수 있게 하는 Model Context Protocol 서버예요. 고급 통합과 AI 지원 워크플로에 사용돼요.

Metrics API

API

Langfuse 데이터에서 커스터마이즈된 분석을 검색하는 API 엔드포인트예요. LLM 애플리케이션용 커스텀 리포트·대시보드를 만들기 위해 차원, 메트릭, 필터, 시간 세분성을 지정할 수 있어요.

Model Definition

Observability

LLM 모델의 가격 정보를 저장하는 구성이에요. 모델 정의는 입력·출력 토큰당 비용을 지정해, Langfuse가 토큰 사용량에 기반해 generation 가격을 자동 계산할 수 있게 해요.

O

Observation

Observability

trace 내의 개별 단계예요. Observation은 다양한 유형(span, generation, event, tool 등)일 수 있고 계층적 워크플로를 나타내도록 중첩될 수 있어요. Langfuse는 OpenTelemetry span을 observation이라 부릅니다.

Offline Evaluation

Evaluation

배포 전에 고정 데이터셋에 대해 애플리케이션을 테스트하는 것이에요. 개발 중 변경을 검증하고 회귀를 잡는 데 사용돼요.

Online Evaluation

Evaluation

실제 트래픽에서 문제를 잡기 위해 실시간 프로덕션 trace를 점수화하는 것이에요. 엣지 케이스를 식별하고 프로덕션의 애플리케이션 품질을 모니터링하는 데 도움을 줘요.

OpenTelemetry (OTel)

Observability | SDK

애플리케이션에서 텔레메트리 데이터를 수집하기 위한 개방형 표준이에요. Langfuse는 OpenTelemetry 위에 구축되어 상호운용성을 가능하게 하고 벤더 종속을 줄여요.

Organization

Platform

Langfuse에서 프로젝트를 포함하는 최상위 엔터티예요. 조직은 빌링, 팀 멤버, SSO 구성을 관리해요.

P

Playground

Prompts

코드를 작성하지 않고 Langfuse에서 직접 다양한 프롬프트와 모델을 테스트·반복·비교할 수 있는 LLM Playground예요.

Project

Platform

조직 내 모든 Langfuse 데이터를 그룹화하는 컨테이너예요. 프로젝트는 세분화된 역할 기반 접근 제어를 가능하게 하고 서로 다른 애플리케이션의 데이터를 분리해요.

Prompt Label

Prompts

프롬프트 버전에 할당할 수 있는 라벨이에요. 프롬프트 버전을 production이나 staging으로 표시해 SDK·API로 가져오는 데 사용돼요.

Prompt Management

Prompts

LLM 애플리케이션용 프롬프트를 저장·버전 관리·검색하는 체계적인 접근 방식이에요. 프롬프트 업데이트를 코드 배포에서 분리해요.

Prompt Variables

Prompts

런타임에 동적으로 채워지는 프롬프트의 플레이스홀더예요. 커스터마이즈 가능한 콘텐츠로 재사용 가능한 프롬프트 템플릿을 만들게 해줘요.

Protected Prompt Label

Prompts

특정 프롬프트 라벨(예: production)을 새 프롬프트 버전에 추가하는 권한을 관리자·소유자로 제한해요. 프로덕션 프롬프트에 대한 실수나 무단 변경을 방지해요.

Public API

API

모든 Langfuse 데이터와 기능에 대한 접근을 제공하는 REST API예요. 커스텀 통합, 워크플로, 프로그래밍 접근에 사용돼요.

Pulse

Observability

Observations 테이블 위의 컴팩트한 이상치 차트 스트립으로, 시간 경과에 따른 count·cost·latency 스파이크를 표면화해요. 스파이크를 클릭하거나 드래그하면 테이블이 그 시간 창으로 좁혀져요.

R

RBAC (Role-Based Access Control)

Platform

Langfuse 내 권한을 관리하는 역할 기반 접근 제어예요. 역할에는 각각 특정 범위를 가진 Owner, Admin, Member, Viewer, None이 포함돼요.

Remote Experiment

Evaluation

Langfuse UI에서 SDK 실험을 실행할 수 있게 하는 웹훅 기반 트리거예요. 웹훅 URL과 기본 구성을 설정한 뒤, 데이터셋을 가져오고 애플리케이션을 실행하며 점수를 Langfuse로 다시 수집하는 실험을 트리거해요.

Retriever (Observation Type)

Observability

RAG 애플리케이션에서 벡터 저장소·데이터베이스 호출 같은 데이터 검색 단계를 나타내는 observation 유형이에요.

Rule

Evaluation

필터와 샘플링 비율로 들어오는 observation을 선택한 뒤, 하나 이상의 평가기를 트리거해 점수화하는 구성이에요.

S

Score

Evaluation

주석이나 자동 평가의 출력이에요. 점수는 숫자, 범주형, 불리언, 텍스트일 수 있으며 trace·observation·session·dataset run에 할당돼요.

Score Config

Evaluation

점수가 어떻게 계산되고 해석되는지 정의하는 구성이에요. 표준화된 점수를 위한 데이터 타입, 값 제약, 카테고리를 포함해요.

SDK (Software Development Kit)

SDK

소프트웨어 개발 키트. Langfuse는 Python과 JavaScript/TypeScript용 네이티브 SDK를 제공하며, 트레이싱, 프롬프트 관리, API 접근을 처리해요.

Session

Observability

같은 사용자 상호작용의 일부인 관련 trace를 그룹화하는 방법이에요. 다중 턴 대화나 채팅 스레드에 흔히 사용돼요.

Span (Observation Type)

Observability

trace에서 작업 단위의 지속 시간을 나타내는 observation 유형이에요. 대부분 작업의 기본 observation 유형이에요. observation의 동의어가 아니에요 — OpenTelemetry span은 어떤 유형이든 Langfuse observation이 됩니다.

T

Tags

Observability

trace와 observation을 분류·필터링하는 유연한 라벨이에요. 기능, API 엔드포인트, 워크플로 등으로 조직화하는 데 유용해요.

Task

Evaluation

실험 중 데이터셋 항목을 처리하는 함수 정의예요. Task는 테스트하려는 애플리케이션 코드를 나타내요.

Text Prompt (String Prompt)

Prompts

단일 문자열로 구성된 프롬프트 유형이에요. 간단한 사용 사례나 시스템 메시지만 필요할 때 이상적이에요.

Token

Observability

LLM이 처리하는 텍스트의 기본 단위예요. 토큰은 모델의 토크나이저에 따라 단어, 단어의 일부, 또는 문자일 수 있어요. 토큰 수가 API 비용과 컨텍스트 창 한도를 결정해요. Langfuse는 비용 모니터링·최적화를 위해 입력·출력 토큰을 추적해요.

Tool (Observation Type)

Observability

날씨 API 호출이나 데이터베이스 쿼리 실행 같은 애플리케이션의 도구 호출을 나타내는 observation 유형이에요.

Trace

Observability

LLM 애플리케이션의 단일 요청 또는 작업이에요. Trace는 전체 입력·출력·메타데이터와 함께 각 단계를 포착하는 중첩 observation을 포함해요.

Tracing

Observability

LLM 애플리케이션의 모든 요청의 구조화된 로그를 포착하는 과정이에요. 프롬프트, 응답, 토큰 사용량, 지연시간, 중간 단계를 포함해요.

U

User Tracking

Observability

userId를 통해 trace를 사용자와 연결하는 기능이에요. 사용자별 분석, 비용 추적, 필터링을 가능하게 해요.

더 알아보기 (Learn more)