MLflow LLM (LLM 추적·평가·서빙)
MLflow LLM (LLM 추적·평가·서빙)
MLflow가 제공하는 LLM 전용 기능들을 다루는 카테고리예요. MLflow는 원래 머신러닝 모델의 실험 추적·등록·배포를 위한 오픈소스 플랫폼인데, 여기에 LLM 트레이싱(LLM Tracing), 프롬프트 실험과 기록(LLM Tracking), LLM 평가(LLM Evaluation), 모델 서빙(Gateway) 같은 LLM 특화 기능이 얹혀 있어요. LLM 앱을 만들면서 모델 호출·프롬프트·평가 결과·배포를 한 플랫폼에서 관리하고 싶을 때 쓰죠.
이 카테고리의 문서
- LLM 추적/실험: 트레이싱, 프롬프트, LLM 레코드, 입력·출력·메타데이터 관리
- LLM 평가: 규칙 기반·LLM 기반 평가 지표, 평가 데이터셋, 튜토리얼
- 배포/서빙: MLflow Gateway, 에이전트, 랭체인 통합