Guardrails 핵심 기능 — validator와 Hub, 서버 배포
Guardrails 핵심 기능
Guardrails를 실제로 쓰다 보면 '검증 로직을 어디서 어떻게 관리하지?', '라우팅·지연은 어쩌지?' 같은 질문이 나와요. FAQ를 기준으로 핵심 기능을 정리할게요.
커스텀 LLM 콜러블
검증 대상인 모델 호출 방식을 바꿀 수 있어요. messages 키워드를 받고 문자열을 반환하는 함수면 Guardrails에서 그대로 LLM으로 사용해요.
def custom_llm(messages, **kwargs):
# 자체 모델/프록시로 응답을 만들고 문자열 반환
return "generated text"
guard = Guard.from_rail(spec).with_llm(custom_llm)
서버로도 실행 가능
0.5.0 버전부터 Guardrails를 독립 서버로 띄울 수 있어요. guardrails-ai 패키지로 서버를 실행하면 검증 로직을 배포 단위로 관리해서 여러 앱이 같은 가드레일을 공유할 수 있어요.
validator는 어디서 찾나
검증 규칙은 Guardrails Hub에서 제공돼요. 사용자 유스케이스(챗봇, 고객지원 등) 기준으로 왼쪽 내비게이션에서 골라 쓰면 되고, 자주 쓰는 조합은 스타터 팩으로 묶여 나오기도 해요.
지연 시간
가드레일은 LLM 응답 뒤에 추가 검증을 얹는 구조라 어느 정도 오버헤드가 생겨요. 텍스트 하나에 validator가 늘어날수록 검증 단계가 더 걸린다는 점을 감안하고, 응답 시간이 중요한 서비스면 validator를 필요한 만큼만 쓰는 게 좋아요.