GitHub 저장소 (bitsandbytes-foundation)

GitHub 저장소 (bitsandbytes-foundation)

bitsandbytes는 bitsandbytes-foundation 조직 아래에서 오픈소스로 관리돼요. PyTorch 생태계에서 메모리 효율형 학습·추론을 위한 사실상의 표준 양자화 라이브러리예요.

Hugging Face Transformers·PEFT·LoRA 워크플로가 모두 이 라이브러리를 백엔드로 쓰는 경우가 많아서, "양자화라면 bitsandbytes"라는 공식이 돼버렸어요.

출처: https://github.com/bitsandbytes-foundation/bitsandbytes

저장소에서 볼 수 있는 것

  • bitsandbytes 핵심 라이브러리 — CUDA 커널·양자화 연산.
  • 8-bit 옵티마이저, LLM.int8(), 4-bit(QLoRA) 구현.
  • Transformers·PEFT 연동 문서와 예제.
  • MIT 라이선스 — 자유 사용·수정·재배포.

대표 사용처

  • Transformers — load_in_8bit / load_in_4bit 로딩 백엔드.
  • PEFT — QLoRA 어댑터 학습의 저메모리 기반.
  • LoRA/QLoRA 커뮤니티 — 저VRAM 환경에서의 표준 선택.

더 알아보기