Tonic Validate
Tonic Validate
Validate는 Ragas가 생성한 점수를 시각화하고 시간에 따라 추적해서 RAG나 LLM 애플리케이션의 성능을 쉽게 이해하게 해줘요. 이미 Ragas를 사용하고 있다면 Python 프로젝트에 두 줄의 코드만 추가하면 시작할 수 있어요.
출처: 문서
본문
Tonic Validate : Ragas 점수 시각화
시작하기
먼저 무료 validate 계정을 만드세요. 로그인하면 새 프로젝트를 만들어야 해요. 프로젝트는 보통 Ragas로 평가하려는 단일 RAG나 LLM 애플리케이션과 연결돼요. 프로젝트에 이름을 주면 프로젝트의 새 홈페이지로 이동해요.
Tonic Validate로 점수를 보내기 시작하려면 점수를 전송하는 데 쓰는 tonic-ragas-logger 패키지를 설치해야 해요.
pip install tonic-ragas-logger
이제 기존 Python 프로젝트에서 Ragas를 실행하는 곳 어디든 아래 두 줄의 코드를 추가할 수 있어요. 이 코드는 Ragas의 evaluate() 함수가 생성한 점수를 가져와 Tonic Validate로 전송해요. 아래에 언급된 API Key와 Project ID는 모두 새로 만든 프로젝트의 홈페이지에서 볼 수 있어요.
validate_api = RagasValidateApi("<Validate API Key>")
validate_api.upload_results("<Project ID>", scores)
Validate로 점수를 보내기 시작하면 그래프가 생성되고 'Runs'가 만들어지는 것을 볼 수 있어요. run은 단일 evaluate() 호출에서 계산된 점수의 모음이에요. 평균 점수가 시간에 따라 어떻게 변하는지 볼 수 있고, 특정 run을 파고들어 개별 질문이 어떻게 수행됐는지도 확인할 수 있어요.
연락하기 👋
UI에 대한 질문이나 피드백이 있다면, 우리가 유지 관리하는 tonic-validate (자체 오픈소스 평가 프레임워크) 저장소에 GitHub issue를 제기하는 것이 가장 쉬운 연락 방법이에요.