OpenInference 개요 — 스펙과 계측
OpenInference 개요
OpenInference는 AI 애플리케이션의 추적을 가능하게 하는 컨벤션·플러그인 집합이에요. OpenTelemetry와 상호보완적이에요. LLM 호출 자체뿐 아니라 벡터 스토어에서의 검색, 검색 엔진·API 같은 외부 도구 사용 등 에이전트 주변 컨텍스트까지 들여다보는 게 목표예요.
스펙 (Specification)
OpenInference 스펙은 spec 디렉터리의 마크다운 파일로 관리돼요.
- LLM 호출(생성 전/후, 프롬프트, 모델)과 주변 애플리케이션 컨텍스트(벡터 스토어 검색, 외부 도구 사용)에 대한 인사이트를 제공
- 전송·파일 포맷에 무관(transport and file-format agnostic)
- JSON, ProtoBuf, DataFrames 등 다른 스펙과 함께 사용하도록 설계
계측 (Instrumentation)
다양한 언어와 인기 ML SDK·프레임워크용 계측(automated instrumentation)을 제공해요.
핵심 시맨틱 컨벤션
- LLM 스팬: 모델 이름, 프롬프트·완료, 토큰 사용, temperature 등
- 리트리벌 스팬: 검색된 문서와 관련도
- 도구 스팬: 도구 이름·입출력
목적지 (Destinations)
OpenInference는 다음과 같은 곳을 스팬 수집기로 지원해요.
- ✅ Arize Phoenix
- ✅ Arize AX
- ✅ 모든 OTEL 호환 컬렉터