Space에서 Giskard 실행

Space에서 Giskard 실행 (Giskard on Spaces)

Giskard는 LLM, 테이블, NLP 모델을 위한 AI 모델 품질 테스트 툴킷이에요. AI 모델을 스캔·테스트하는 오픈소스 Python 라이브러리와, 이제 Hugging Face Docker Spaces로 배포할 수 있는 AI Model Quality Testing 앱으로 구성됩니다.

출처: 문서

본문

Giskard는 LLM, 테이블, NLP 모델을 위한 AI 모델 품질 테스트 툴킷입니다. AI 모델을 스캔·테스트하기 위한 오픈소스 Python 라이브러리와, 이제 Hugging Face의 Docker Spaces를 사용해 배포할 수 있는 AI Model Quality Testing 앱으로 구성돼요. 오픈소스 라이브러리의 기능을 확장한 AI Model Quality Testing 앱으로 다음을 할 수 있습니다:

문제를 진단하는 테스트 디버깅
자동 모델 인사이트 덕분의 도메인 특화 테스트 생성
어떤 모델을 승격할지 결정하는 모델 비교
모델 결과에 대한 비즈니스 피드백 수집
정렬을 위해 결과를 동료와 공유
모든 QA 객체(테스트, 데이터 슬라이스, 평가 기준 등)를 한곳에 저장해 더 효율적으로 작업

Giskard 문서와 Quickstart Guides를 방문해 Giskard가 제공하는 전체 도구 범위를 사용하는 방법을 배워보세요.

다음 섹션에서는 나만의 Giskard AI Model Quality Testing 앱을 배포하고 Hugging Face Spaces에서 바로 사용하는 방법을 배울 거예요. 이 Giskard 앱은 Docker를 사용해 Spaces에 완전히 호스팅되는 자체 포함 애플리케이션입니다.

Spaces에서 Giskard 배포하기 (Deploy Giskard on Spaces)

몇 번의 클릭으로 Spaces에서 Giskard를 배포할 수 있어요.

[!WARNING] 데이터 지속성에 대한 중요한 메모: 초기 탐색과 실험에는 Giskard Space를 그대로 사용할 수 있어요. 소규모 프로젝트에서 더 오래 사용하려면 Storage Bucket을 연결하세요. 이렇게 하면 24시간마다 발생하는 Space 재시작 중 데이터 손실을 방지할 수 있습니다.

Owner(내 개인 계정 또는 조직), Space 이름, Visibility를 정의해야 합니다. 모델과 품질 테스트를 공개적으로 공유하고 싶지 않다면 Space를 Private으로 설정하세요.

Space를 만들면 Building 상태가 표시됩니다. Running이 되면 Space를 사용할 준비가 된 거예요. 화면에 변화가 보이지 않으면 페이지를 새로고침하세요.

무료 라이선스 요청 (Request a free license)

Giskard Space가 실행되면 앱 사용을 시작하려면 무료 라이선스를 요청해야 합니다. 그러면 라이선스 파일이 담긴 이메일을 자동으로 받게 됩니다.

새 Giskard 프로젝트 만들기 (Create a new Giskard project)

앱 안에 들어가면 환영 화면에서 새 프로젝트를 만들어 시작하세요.

Hugging Face Giskard Space 토큰과 Giskard API 키 생성 (Generate a Hugging Face Giskard Space Token and Giskard API key)

Giskard API 키는 내 AI 모델이 실행되는 환경과 Hugging Face Spaces의 Giskard 앱 사이의 통신을 설정하는 데 사용됩니다. Space의 Visibility를 Private으로 설정했다면, Hugging Face 사용자 액세스 토큰을 제공해 Hugging Face Giskard Space Token을 생성하고 비공개 Space에 접근하기 위한 통신을 설정해야 해요. 이를 위해 Giskard 앱의 설정 페이지에 표시되는 지침을 따르세요.

ML 워커 시작 (Start the ML worker)

Giskard는 모델이 요구하는 모든 의존성을 갖춘 채 Python 환경에서 모델을 직접 실행하는 워커를 사용해 모델을 실행합니다. ML 워커는 다음 중 한 가지 방식으로 실행할 수 있어요:

모델의 모든 의존성이 포함된 커널 안의 로컬 노트북에서
모델의 모든 의존성이 포함된 커널 안의 Google Colab에서
모델의 모든 의존성이 포함된 Python 환경 안의 터미널에서

모델의 모든 의존성이 포함된 Python 환경 안에서 다음 명령을 실행하면 됩니다:

giskard worker start -d -k GISKARD-API-KEY -u https://XXX.hf.space --hf-token GISKARD-SPACE-TOKEN

테스트 스위트, 모델, 데이터셋 업로드 (Upload your test suite, models and datasets)

프로젝트에 대한 품질 테스트 구축을 시작하려면 모델·데이터셋 객체를 업로드하고, Giskard Python 라이브러리에서 테스트 스위트를 만들거나 업로드해야 합니다.

[!TIP] Giskard Python 라이브러리의 자동 모델 스캐닝 도구로 테스트 스위트를 만드는 방법에 대한 자세한 내용은 Giskard Quickstart Guides를 참고하세요.

이 모든 작업은 내 Python 환경과 Giskard Space 사이의 연결이 필요합니다. Giskard 클라이언트를 초기화해 이를 달성하세요: Giskard 앱의 설정 페이지에서 "Create a Giskard Client" 스니펫을 복사하고 Python 환경 안에서 실행하면 됩니다. 대략 이렇게 생겼어요:

from giskard import GiskardClient

url = "https://user_name-space_name.hf.space"
api_key = "gsk-xxx"
hf_token = "xxx"

# Create a giskard client to communicate with Giskard
client = GiskardClient(url, api_key, hf_token)

문제가 발생하면 Giskard의 upload object 문서 페이지를 확인하세요.

피드백과 지원 (Feedback and support)

제안이 있거나 특정 지원이 필요하면 Giskard Discord 커뮤니티에 가입하거나 Giskard GitHub 저장소에서 연락하세요.

더 알아보기 (Learn more)

Giskard는 Docker Space로 배포하는 AI 모델 품질 테스트 앱이에요. Owner·Space 이름·Visibility(비공개 원하면 Private)를 설정하고, 실행 후 무료 라이선스를 요청해요. giskard worker start로 ML 워커를 실행하고 GiskardClient로 Python 환경과 연결해 테스트 스위트·모델·데이터셋을 업로드할 수 있습니다. 오래 사용하려면 Storage Bucket 연결을 권장해요.