`LabelledRagDataset` 기여하기
LabelledRagDataset 기여하기
더 견고한 RAG 시스템을 구축하려면 다양한 평가 스위트가 필요해요. 그래서 우리가 LlamaDatasets를 출시했어요. 이 페이지에서는 공개된 첫 번째 종류의 LlamaDataset인 LabelledRagDataset을 어떻게 기여할 수 있는지 설명할게요.
참고: LlamaDatasets는 더 이상 사용되지 않으며(deprecated) 유지보수되지 않아요. 이 페이지는 참고용으로 남아 있으며, 새로운 제출은 받지 않고 있어요.
LabelledRagDataset 기여는 크게 두 단계로 이루어져요. 먼저 LabelledRagDataset을 만들고 JSON으로 저장한 뒤, 이 JSON 파일과 원본 텍스트 파일을 llama-datasets 저장소에 제출해야 해요. 추가로, 데이터셋의 필수 메타데이터를 llama-hub 저장소에 올리기 위해 pull request를 만들어야 해요.
제출 과정을 훨씬 수월하게 만들기 위해, LabelledRagDataset을 처음부터 만드는(또는 비슷한 구조의 질의응답 데이터셋을 변환하는) 과정과 기타 필수 단계를 수행할 수 있는 템플릿 노트북을 준비했어요. 아래 링크된 "LlamaDataset Submission Template Notebook"을 참고하세요.
출처: 문서
본문
다른 llama-datasets 기여하기
앞서 설명한 LabelledRagDataset과 마찬가지로, LabelledEvaluatorDataset 같은 다른 llama-datasets을 기여하는 일반적인 과정도 동일해요. 이러한 다른 데이터셋의 제출 템플릿은 곧 제공될 예정이에요!
제출 예시
전체 제출 예시 Notebook을 읽어보세요.