Checks (테스트 작성 라이브러리)
Checks (테스트 작성 라이브러리)
Scan 또는 Checks냐 — Giskard에서 가장 먼저 만나는 질문이에요. 스캔은 에이전트 설명으로부터 테스트를 자동 생성하고, Checks는 당신이 직접 테스트를 작성할 때 쓰는 라이브러리예요. 둘은 같은 런타임을 공유해서, 스캔이 반환하는 것도 평범한 Suite이므로 Checks에서 배운 Suite 실행·필터링·assert 방법을 스캔 결과에도 그대로 적용할 수 있어요.
- Scan — 알려지지 않은 취약점을 발견할 때
- Checks — 이미 중요하다고 정한 동작을 고정(lock in)할 때
대부분의 팀이 둘 다 써요.
주요 패키지
Giskard v3는 필요한 것만 담은 모듈형 패키지로 구성돼요.
| 패키지 | 설명 |
|---|---|
giskard-checks |
테스트·평가 — 시나리오 API, 내장 체크, LLM-as-judge |
giskard-scan |
에이전트 취약점 스캐너 + RAG/품질 평가 — 레드팀 등 |
Check가 검증하는 것들
- RAG 품질 검증 — 답변이 검색된 컨텍스트에 근거하는지(grounded) 확인
- 안전 규칙 준수 — 출력이 콘텐츠 정책을 따르는지
- 멀티턴 에이전트 평가 — 단일 교환을 넘어 전체 대화를 테스트
- 내장 평가 — 문자열 매칭, 비교, 정규식, 의미적 유사도, LLM-as-judge 체크(Groundedness, Conformity, LLMJudge)