Hugging Face에서 🧨 `diffusers` 사용하기

Hugging Face에서 🧨 diffusers 사용하기

diffusers는 이미지, 오디오, 심지어 분자의 3D 구조까지 생성하는 최첨단 사전학습 diffusion 모델을 다루는 표준 라이브러리예요. 간단한 추론 솔루션을 원하든 직접 diffusion 모델을 학습시키고 싶든, Diffusers는 둘 다 지원하는 모듈형 도구 모음이에요. 성능보다 사용성, '어려운 것'보다 '간단한 것', 추상화보다 커스터마이징에 초점을 맞춰 설계됐죠.

Hub에 있는 수많은 diffusion 파이프라인을 브라우저에서 바로 시험해볼 수 있어요.

출처: 문서

본문

Hub에서 Diffusers 둘러보기

Hub에는 diffusers 호환이 가능한 파이프라인이 10,000개가 넘어요. 모델 페이지 왼쪽 필터로 찾을 수 있어요. Diffusion 시스템은 보통 텍스트 인코더, UNet, VAE, 스케줄러 같은 여러 구성요소로 이루어져 있어요. 이들은 단독 모델은 아니지만 파이프라인 추상화 덕분에 추론이나 학습에 쉽게 사용할 수 있어요.

다양한 작업을 위한 diffusion 파이프라인을 찾을 수 있어요:

• 자연어 텍스트 프롬프트로 이미지 생성 (text-to-image).
• 자연어 텍스트 프롬프트로 이미지 변환 (image-to-image).
• 자연어 설명으로 비디오 생성 (text-to-video).

다운로드 없이 브라우저에서 바로 모델을 시험해보고 싶다면 인브라우저 위젯 덕분에 직접 해볼 수 있어요!

Diffusers 리포지토리 파일

Diffusers 모델 리포지토리에는 이미지를 인코딩하고 잠재(latent)를 디코딩하는 variational autoencoder, 텍스트 인코더, transformer 모델 등 필요한 모든 모델 하위 구성요소가 들어 있어요. 이 하위 구성요소들은 다중 폴더 구조로 정리돼 있어요.

각 하위 폴더는 Transformers 모델처럼 해당 구성요소의 가중치와 설정(해당하는 경우)을 담고 있어요.

가중치는 보통 safetensors 파일로 저장되고, 설정은 보통 모델 아키텍처 정보를 담은 json 파일이에요.

기존 파이프라인 사용하기

모든 diffusers 파이프라인은 한 줄이면 사용할 수 있어요! 생성을 하려면 항상 DiffusionPipeline부터 시작하는 걸 권장해요:

from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0")

UNet 같은 특정 파이프라인 구성요소를 로드하고 싶다면 이렇게 해요:

from diffusers import UNet2DConditionModel

unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="unet")

파이프라인과 모델 공유하기

모든 파이프라인 클래스, 모델 클래스, 스케줄러 클래스는 Hub와 완전히 호환돼요. 구체적으로 from_pretrained() 메서드로 Hub에서 쉽게 로드하고, push_to_hub() 메서드로 다른 사람들과 공유할 수 있어요.

자세한 내용은 문서를 확인해 주세요.

추가 자료

• Diffusers 라이브러리.
• Diffusers 문서.

더 알아보기 (Learn more)

• 확산 모델에 관심이 있다면 Diffusers 문서를 정독해 보세요.
• Transformers 문서에서 Hub의 다른 모델 라이브러리도 살펴볼 수 있어요.
• from_pretrained()와 push_to_hub()로 Hub와의 양방향 공유가 기본 제공돼요.