Xet 역사와 개요

2024년 8월 Hugging Face는 XetHub를 인수했어요. 시애틀 기반의 시드 스테이지 스타트업으로, Hub에서 Git LFS를 대체하기 위해서예요.

Git LFS와 마찬가지로 Xet 지원 리포지토리는 원격 스토리지로 S3를 활용하고, 리포지토리 루트의 .gitattributes 파일이 어떤 파일을 원격으로 저장해야 할지 식별하는 데 도움을 줘요.

Git LFS 포인터 파일은 원격 스토리지에서 실제 파일 내용을 찾을 수 있는 메타데이터를 제공해요:

SHA256: 실제 대용량 파일에 대한 고유 식별자 제공. 파일 내용의 SHA-256 해시를 계산해 생성돼요.
Pointer size: Git 리포지토리에 저장된 포인터 파일의 크기.
Size of the remote file: 실제 대용량 파일의 바이트 크기. 이 메타데이터는 검증 목적과 스토리지·전송 작업 관리를 위해 유용해요.

Xet 포인터는 설계상 이 모든 정보를 포함해요. Xet 스토리지에서 파일을 참조하는 Xet backed hash 필드가 추가된 Git LFS와의 하위 호환성 섹션을 참고해요.

파일 수준에서 중복 제거하는 Git LFS와 달리, Xet 지원 리포지토리는 바이트 수준에서 중복 제거해요. Xet 스토리지가 백업한 파일이 업데이트되면 수정된 데이터만 원격 스토리지로 업로드돼 네트워크 전송을 크게 절약해요. 모델 체크포인트의 점진적 업데이트나 데이터셋에 새 데이터 추가·삽입 같은 많은 워크플로에서 자신과 협업자의 반복 속도를 개선해줘요. Xet 스토리지의 중복 제거에 대해 더 알아보려면 Deduplication을 참고해요.

출처: 문서

더 알아보기 (Learn more)

Xet는 바이트 수준 중복 제거로 Git LFS보다 네트워크 전송을 아껴요.
업데이트 시 수정된 데이터만 업로드되므로 반복 작업이 빨라져요.
Deduplication과 Git LFS 호환성 문서를 함께 확인해 보세요.