테스트셋 생성(Testset Generation)
테스트셋 생성(Testset Generation)
AI 애플리케이션의 성능을 평가하려면 고품질 테스트 데이터셋을 큐레이션하는 게 중요해요. 하지만 이런 데이터셋을 수동으로 만들면 시간이 많이 들고 비용도 커요. Ragas는 합성 테스트 데이터셋을 자동으로 생성하는 도구를 제공해요.
출처: 문서
본문
고품질 테스트 데이터셋을 큐레이션하는 것은 AI 애플리케이션의 성능을 평가하는 데 중요해요.
이상적인 테스트 데이터셋의 특징(Characteristics of an Ideal Test Dataset)
- 고품질 데이터 샘플을 포함한다
- 실제 세계에서 관찰되는 다양한 시나리오를 폭넓게 다룬다
- 통계적으로 유의미한 결론을 도출할 만큼 충분한 수의 샘플을 포함한다
- 데이터 드리프트를 방지하기 위해 지속적으로 업데이트된다
이런 데이터셋을 수동으로 큐레이션하는 것은 시간이 많이 들고 비쌀 수 있어요. Ragas는 AI 애플리케이션을 평가하기 위한 합성 테스트 데이터셋을 생성하는 도구 세트를 제공해요.
- 🚀 RAG for evaluating retrieval augmented generation pipelines
- 🛠️ Agents or Tool use for evaluating agent workflows