LTX2 & LTX2.3

LTX2 & LTX2.3

LTX-2LTX-2.3은 Lightricks의 텍스트-비디오 및 이미지 조건 생성용 비디오 모델이에요. 배포의 핵심 선택은 파이프라인이에요: one-stage는 지연 시간을 최소화하고, 표준 two-stage는 품질을 다듬으며, LTX-2.3은 1920×1088 HQ 경로를 추가해요. 하나의 모델 제품군으로 빠른 생성, 고품질 정교화, LoRA 적응을 모두 커버해야 할 때 LTX를 선택해요.

Two-stage 품질은 두 DiT와 공간 업스케일러가 모두 참여하므로 메모리와 시작 작업이 훨씬 더 필요해요. 최종 디테일보다 지연 시간이나 용량이 더 중요할 때는 one-stage 경로를 사용하세요. LTX-2와 LTX-2.3은 Apache 2.0이 아닌 LTX-2 Community License Agreement로 출시되므로 상업적 사용 제한을 확인해야 해요.

출처: 문서

본문

LTX-2와 LTX-2.3 비디오 생성 파이프라인을 SGLang Diffusion으로 실행하세요.

1. 모델 소개

LTX-2LTX-2.3은 Lightricks의 텍스트-비디오 및 이미지 조건 생성용 비디오 모델이에요. 배포 선택의 핵심은 파이프라인이에요: one-stage는 지연 시간을 최소화하고, 표준 two-stage는 품질을 다듬으며, LTX-2.3은 1920×1088 HQ 경로를 추가해요.

빠른 생성, 고품질 정교화, LoRA 적응을 하나의 모델 제품군으로 커버해야 할 때 LTX를 선택하세요. Two-stage 품질은 두 DiT와 공간 업스케일러가 모두 참여하므로 메모리와 시작 작업이 훨씬 더 필요해요. 최종 디테일보다 지연 시간이나 용량이 더 중요할 때는 one-stage 경로를 사용하세요.

--model-pathLightricks/LTX-2 또는 Lightricks/LTX-2.3을 사용하세요. SGLang은 선택한 스냅샷에서 two-stage 업스케일러와 증류 컴포넌트를 로드해요.

**라이선스 고지:** LTX-2와 LTX-2.3은 Apache 2.0이 아닌 LTX-2 Community License Agreement로 출시돼요. 이 라이선스는 일부 주체에 대한 상업적 사용 제한을 포함해요. 프로덕션 또는 상업적 사용 전에 [공식 Lightricks 라이선스](https://huggingface.co/Lightricks/LTX-2.3/blob/main/LICENSE)를 검토하세요. SGLang 지원이 추가 모델 사용 권한을 부여하지는 않아요.

2. SGLang-diffusion 설치

diffusion 의존성과 함께 SGLang을 설치하세요:

uv pip install "sglang[diffusion]" --prerelease=allow

플랫폼별 설정은 SGLang Diffusion 설치 가이드를 참고하세요.

3. 모델 배포

이 절은 서로 다른 LTX 파이프라인과 하드웨어 타겟에 최적화된 배포 구성을 제공해요.

3.1 기본 구성

LTX 시리즈는 one-stage와 two-stage 파이프라인을 지원해요. LTX-2.3은 HQ two-stage 파이프라인도 지원해요. 권장 실행 구성은 타겟 GPU가 두 two-stage DiT를 상주시킬 수 있는지에 따라 달라져요.

인터랙티브 명령 생성기: 아래 구성 선택기를 사용해 배포 명령을 생성하세요. 기본 선택은 resident two-stage 모드의 단일 NVIDIA H200을 타겟으로 해요. 멀티 GPU 서빙에서는 2-GPU 또는 4-GPU 프리셋에서 시작하고 더 많은 메모리 여유가 필요할 때만 병렬 처리를 바꾸세요.

3.2 구성 팁

품질과 지연 시간 목표에 따라 파이프라인 클래스를 선택하세요:

Use case Pipeline class Notes
One-stage 생성 LTX2Pipeline 가장 빠른 LTX 네이티브 경로. T2V와 TI2V 지원.
Two-stage 생성 LTX2TwoStagePipeline 베이스 스테이지와 정교화 스테이지 사용. LTX-2와 LTX-2.3 모두 지원.
Two-stage High Quality (HQ) 생성 LTX2TwoStageHQPipeline LTX-2.3 HQ 경로. --width/--height를 덮어쓰지 않으면 기본값 1920x1088.

기능 호환성:

Pipeline class T2V TI2V (--image-path) LoRA (--lora-path) Notes
LTX2Pipeline Yes Yes Yes One-stage 경로. HQ는 별도 two-stage 파이프라인 클래스이므로 결합 불가.
LTX2TwoStagePipeline Yes Yes Yes LTX-2와 LTX-2.3의 표준 two-stage 경로.
LTX2TwoStageHQPipeline Yes Yes Yes LTX-2.3용 High Quality two-stage 경로. LTX2Pipeline 대신 이것을 사용. one-stage 모드 플래그가 아님.

Two-stage 파이프라인의 경우 --ltx2-two-stage-device-mode가 트랜스포머 상주를 제어해요:

Mode When to use it
resident 두 DiT가 상주할 수 있으므로 고VRAM GPU에서 최상의 지연 시간.
original 원래 two-stage 전환 의미론에 가장 가까움.

기타 배포 플래그:

  • --lora-path: 커뮤니티 LoRA 어댑터 사전 로드.
  • --lora-weight-name: LoRA 저장소에 여러 가중치 파일이 있을 때 정확한 safetensors 파일 선택.
사용자 LoRA 없이 네이티브 LTX-2.3 two-stage 서빙에서는 `resident`가 가장 빠른 고VRAM 경로예요. LTX-2는 여전히 스테이지 전환 중 증류 LoRA를 적용하므로 `--ltx2-two-stage-device-mode`는 주로 LTX-2.3 최적화예요. `--lora-path`를 전달하면 SGLang이 two-stage 전환 중 사용자 LoRA를 계속 적용하므로 H200급 GPU에서 `resident`를 사용해 충분한 VRAM을 확보하되, 사용자 LoRA가 없는 경로와 같은 사전 병합 stage2 이점을 기대하진 마세요.

3.3 빠른 멀티 GPU 프리셋

지연 시간 중심의 LTX 서빙에서는 시퀀스 병렬 처리보다 CFG parallel을 선호해요. CFG parallel은 guidance 브랜치를 GPU들에 걸쳐 분할하고, SP/Ulysses는 주로 LTX에서 메모리/장문 시퀀스 도구예요.

Target Recommended server flags Notes
LTX-2.3, 1 high-VRAM GPU --ltx2-two-stage-device-mode resident 두 DiT가 맞을 때 가장 빠른 two-stage 설정.
LTX-2.3, 1 standard GPU --ltx2-two-stage-device-mode original resident보다 낮은 VRAM; H100급 메모리가 빠듯할 때 사용.
LTX-2, 2 GPUs --num-gpus 2 --enable-cfg-parallel 가장 빠른 검증된 2-GPU 설정; 메모리가 빠듯하지 않으면 --dit-layerwise-offload 비활성화 유지.
LTX-2.3, 2 GPUs --num-gpus 2 --enable-cfg-parallel --ltx2-two-stage-device-mode resident 가장 빠른 일반적인 2-GPU 설정.
LTX-2.3, 4 GPUs --num-gpus 4 --tp-size 2 --enable-cfg-parallel --ltx2-two-stage-device-mode resident 가장 빠른 일반 4-GPU 레이아웃: 각 CFG 브랜치 내 TP2.
Official comparison --ltx2-two-stage-device-mode original 원래 LTX-2.3 스테이지 전환 의미론을 맞추는 게 중요할 때만 사용.

degree-2 CFG parallel에는 --enable-cfg-parallel을 사용하세요. --cfg-parallel-size는 다른 CFG 브랜치 수가 명시적으로 필요할 때만 사용하세요. resident가 가용 VRAM을 초과하면 같은 병렬 처리 프리셋을 유지하고 device mode만 original로 바꾸세요.

고VRAM GPU에서는 텍스트 인코딩 지연 시간이 중요하고 메모리가 충분하다면 --text-encoder-cpu-offload false를 추가하세요.

3.3.1 Two GPUs

sglang serve \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --num-gpus 2 \
  --enable-cfg-parallel \
  --ltx2-two-stage-device-mode resident

3.3.2 Four GPUs

sglang serve \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --num-gpus 4 \
  --tp-size 2 \
  --enable-cfg-parallel \
  --ltx2-two-stage-device-mode resident

4. 모델 호출

4.1 기본 사용

아래 예제는 재현성을 위해 현재 SGLang 샘플링 기본값을 명시해요:

Model path Default output Default frames Default steps
Lightricks/LTX-2 768x512 121 40
Lightricks/LTX-2.3 768x512 121 30
Lightricks/LTX-2.3 with LTX2TwoStageHQPipeline 1920x1088 121 15

4.1.1 LTX-2 one-stage 텍스트-비디오

sglang generate \
  --model-path Lightricks/LTX-2 \
  --pipeline-class-name LTX2Pipeline \
  --prompt "A quiet coastal town at sunrise, fishing boats moving slowly through golden mist, cinematic camera movement" \
  --save-output

4.1.2 LTX-2.3 one-stage 텍스트-비디오

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2Pipeline \
  --prompt "A quiet coastal town at sunrise, fishing boats moving slowly through golden mist, cinematic camera movement" \
  --save-output

4.1.3 LTX-2 two-stage 텍스트-비디오

sglang generate \
  --model-path Lightricks/LTX-2 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --prompt "A handheld shot follows a red tram crossing a rainy city square at night, reflections on the pavement, cinematic lighting" \
  --save-output

4.1.4 LTX-2.3 two-stage 텍스트-비디오

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --prompt "A handheld shot follows a red tram crossing a rainy city square at night, reflections on the pavement, cinematic lighting" \
  --save-output

4.1.5 LTX-2.3 HQ 텍스트-비디오

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStageHQPipeline \
  --prompt "A wide cinematic shot of alpine clouds rolling over a mountain ridge, soft morning light, slow aerial camera movement" \
  --save-output

4.1.6 참조 이미지 하나로 이미지-비디오

이미지 조건 생성에는 --image-path로 이미지 하나를 전달하세요:

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --image-path ./inputs/start.png \
  --prompt "The camera slowly pushes forward as the subject turns toward warm window light, subtle natural motion, cinematic" \
  --save-output

4.1.7 참조 이미지 두 개로 first-to-last 프레임 전환

전환 스타일 TI2V에는 --image-path로 이미지 두 개를 전달하세요. 첫 번째 이미지는 시작 조건, 두 번째는 끝 조건으로 사용돼요.

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --image-path ./inputs/start.png ./inputs/end.png \
  --prompt "A smooth cinematic transition from the first scene into the final scene, dynamic camera motion, motion blur, zhuanchang" \
  --save-output

4.2 고급 사용

4.2.1 커뮤니티 LoRA 사용

LoRA 어댑터를 로드하려면 --lora-path를 사용하세요. Hugging Face 저장소에 여러 safetensors 파일이 있으면 --lora-weight-name으로 정확한 파일을 선택하세요. --lora-scale은 표준 LoRA 병합 스케일에 대응하며 기본값은 1.0이에요.

다음 예제는 valiantcat/LTX-2.3-Transition-LORA를 사용해요:

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --lora-path valiantcat/LTX-2.3-Transition-LORA \
  --lora-weight-name ltx2.3-transition.safetensors \
  --prompt "A low-angle tracking shot moves through a foggy forest road. The camera rises above the treetops and transitions into a clear view of a snowy mountain peak under bright sunlight, zhuanchang" \
  --save-output

Transition LoRA를 참조 이미지 두 개와 결합할 수 있어요:

sglang generate \
  --model-path Lightricks/LTX-2.3 \
  --pipeline-class-name LTX2TwoStagePipeline \
  --image-path ./inputs/start.png ./inputs/end.png \
  --lora-path valiantcat/LTX-2.3-Transition-LORA \
  --lora-weight-name ltx2.3-transition.safetensors \
  --prompt "A fast cinematic transition from the first image to the second image, whip-pan motion, atmospheric lighting, zhuanchang" \
  --save-output
일부 커뮤니티 LoRA는 트랜스포머 블록의 가중치만 포함해요. 그 경우 SGLang은 간결한 커버리지 요약을 로그로 남기고 일치하지 않는 LoRA 가능 레이어를 베이스 모델 가중치로 유지해요. 어댑터 형식이 의도적으로 그 레이어들을 생략할 때 이는 예상된 동작이에요.

5. 실용 팁

  • 기본 LTX two-stage 품질 경로로 --pipeline-class-name LTX2TwoStagePipeline을 사용하세요.
  • HQ 경로를 원하고 더 큰 출력을 위한 충분한 VRAM이 있다면 --pipeline-class-name LTX2TwoStageHQPipeline을 사용하세요.
  • 지연 시간이 메모리 사용보다 중요하면 고VRAM GPU에서 --ltx2-two-stage-device-mode resident를 사용하세요.
  • 공식 two-stage 동작과 비교할 때는 --ltx2-two-stage-device-mode original을 사용하세요.
  • --width--height를 타겟 모델 해상도와 정렬하세요. LTX 모델에서는 이들이 출력 비디오 차원이에요.

6. ComfyUI에서 실행

더 알아보기 (Learn more)