Stable Diffusion 개요
Stable Diffusion 개요
Stable Diffusion은 텍스트를 입력으로 사실적인 이미지를 만들어 내는 잠재(latent) 텍스트-이미지 디퓨전 모델이에요. 이미지 전체가 아니라 잠재 공간에서 노이즈를 제거하는 방식이라 상대적으로 가벼워요.
Stable Diffusion은 잠재 텍스트-이미지 디퓨전 모델이에요. Stability AI의 대규모 컴퓨트 지원과 LAION의 지원 덕분에, LAION-5B 데이터베이스의 부분집합으로 512x512 이미지에 대해 Latent Diffusion Model을 학습할 수 있었어요.
구조를 보면 구글의 Imagen과 비슷하게 프로즌 CLIP ViT-L/14 텍스트 인코더로 모델을 텍스트 프롬프트에 조건화해요. 860M UNet과 123M 텍스트 인코더로 구성돼 있어 비교적 가볍고, 10GB 이상 VRAM의 GPU에서 실행돼요.
v1 모델은 다운샘플링 팩터 8의 오토인코더 + 860M UNet + CLIP ViT-L/14 텍스트 인코더 조합이에요. 256x256으로 사전 학습한 뒤 512x512로 파인튜닝했죠.
⚠️ 주의: Stable Diffusion v1은 일반 텍스트-이미지 디퓨전 모델이라 학습 데이터에 존재하는 편향과 (잘못된) 고정관념을 그대로 비출 수 있어요. 가중치는 연구 산출물(research artifacts)로 취급해야 하고, 사용엔 라이선스 조건이 따릅니다. 다음 섹션에서 라이선스와 배포에 대해 더 볼게요.