OpenInference 실전·API — 스펙과 문서 사이트
OpenInference 실전·API
OpenInference의 스펙과 사용법을 문서 사이트에서 훑어볼게요. 이 도구의 실제 'API'는 스펙 정의와 계측 패키지 사용법, 그리고 OTEL과의 연동이에요.
스펙 개요
OpenInference 스펙은 AI 앱 트레이스에서 쓸 **시맨틱 컨벤션(semantic conventions)**을 정의해요. 표준화된 스팬·속성 이름으로, 어떤 백엔드를 쓰든 같은 의미를 공유하게 해요.
주요 트레이스 유형:
- LLM 스팬 — 모델 호출(프롬프트, 생성 결과, 토큰 통계, 모델 이름)
- 리트리벌 스팬 — 벡터 스토어 검색(검색된 문서·관련도)
- 도구 스팬 — 외부 도구 호출(이름·입출력)
스펙과 함께 쓰는 규격들
스펙은 전송·파일 포맷에 무관해서, JSON·ProtoBuf·DataFrames 같은 스펙과 함께 쓰도록 돼요.
문서 사이트 구성
- Spec — 시맨틱 컨벤션 마크다운
- Python/JS/Java/Go — 언어별 계측 패키지 문서
- 예제 — 프레임워크별 사용 예
관측 가능성 파이프라인
- 인스트루멘터로 계측 (
OpenAIInstrumentor().instrument()등) - 스팬을 OpenInference 포맷으로 생성
- OTLP로 Phoenix·AX 또는 OTEL 호환 컬렉터로 전송
- 대시보드에서 LLM 추적·평가
운용 팁
- 계측은 앱 시작 시 한 번만 수행
- 스팬 프로세서로 다른 도구 트레이스(OpenLLMetry 등)를 OpenInference로 정규화
OPENINFERENCE_HIDE_*환경 변수로 민감 속성 마스킹(Go 계측)