CompatCanary
CompatCanary
CompatCanary는 OpenAI 호환 엔드포인트를 위한 오픈소스 적합성(conformance) 스캐너예요. LiteLLM 프록시를 통해 결정적(deterministic) 프로브를 보내고, 채팅 완료, 스트리밍, 도구 호출, 구조화 출력, Responses API에 대해 관찰된 동작을 기록해요.
출처: 문서
본문
CompatCanary는 OpenAI 호환 엔드포인트를 위한 오픈소스 적합성(conformance) 스캐너예요. LiteLLM 프록시를 통해 결정적 프로브(deterministic probes)를 보내고, 채팅 완료, 스트리밍, 도구 호출, 구조화 출력, Responses API에 대해 관찰된 동작을 기록해요.
설정된 LiteLLM 모델이 노출하는 Chat Completions 서피스(surface)부터 시작해요:
export OPENAI_API_KEY="your-litellm-key"
npx --yes compatcanary@latest scan \
--base-url http://localhost:4000/v1 \
--model your-model \
--profile chat
--profile modern을 사용하면 Responses API 프로브를 포함하고, --format markdown 또는 --format json을 사용하면 로컬 디버깅이나 CI에서 검토 가능한 증거를 저장할 수 있어요.
프로젝트 저장소와 리뷰된 보고서를 포함한 재현 가능한 LiteLLM 설정을 확인해 보세요.