LingBot World 2.0

LingBot World 2.0

LingBot World 2.0은 LingBot 계열의 14B 실시간 카메라 제어 월드 모델입니다. 라이브 인과 세션에서 연속적으로 생성하고, 청크 사이에 제어 업데이트를 받으며, DiT·VAE 상태를 재사용해 증분 프레임을 전달합니다.

출처: 문서

본문

<DiffusionModelTags tags={["realtime", "world model", "14B causal DiT", "camera control", "interactive KV window"]} />

1. 모델 소개 (Model Introduction)

LingBot World 2.0은 LingBot 계열의 14B 실시간 카메라 제어 월드 모델입니다. 라이브 인과 세션에서 연속적으로 생성하고, 청크 사이에 제어 업데이트를 받으며, 증분 프레임 전달을 위해 DiT·VAE 상태를 재사용합니다.

더 큰 모델과 대화형 KV-창 경로가 8-GPU 배포를 정당화할 때 2.0을 선택하세요. 이전 LingBot 릴리스처럼 오프라인 비디오 디퓨전의 전체-클립 전역 컨텍스트보다 반응형 제어와 제한된 인과 상태를 우선시합니다.

2. 배포 (Deployment)

export SGLANG_LINGBOT_LAZY_VAE_ENCODE_BLACK_FRAMES=60
export SGLANG_LINGBOT_ENABLE_INTERACTIVE_KV_WINDOW=true
sglang serve \
  --model-path robbyant/lingbot-world-v2-14b-causal-fast-diffusers \
  --pipeline-class-name LingBotWorldCausalDMDPipeline \
  --num-gpus 8 \
  --ulysses-degree 8 \
  --dit-cpu-offload false \
  --text-encoder-cpu-offload false \
  --vae-config.use-parallel-decode true \
  --vae-config.parallel-decode-mode spatial \
  --enable-torch-compile false

선택적 KV 캐시 압축 (Optional KV-Cache Compression)

장기 실행 세션은 양자화 가이드에 설명된 대로 quant-videogen을 설치하고 서버 명령에 --kv-cache-quant int4를 추가해 완료된 인과 KV-캐시 청크에 대해 손실 int4 PRQ 압축을 활성화할 수 있습니다. 현재 및 가장 최근 완료된 청크는 BF16으로 유지됩니다. 알고리즘, 튜닝 옵션, 측정된 메모리-지연 트레이드오프, 지원 한계는 인과 KV-캐시 양자화를 참조하세요.

3. Realtime WebUI

가벼운 로컬 WebUI는 지연, 프레임 전송, 카메라 제어 동작을 검증하는 데 유용합니다.

python -m http.server 18080 -d python/sglang/multimodal_gen/apps/realtime_webui

http://127.0.0.1:18080을 열고 사용:

ws://127.0.0.1:30000/v1/realtime_video/generate

4. HTTP 및 WebSocket API

LingBot World 2.0은 realtime 비디오 WebSocket 엔드포인트를 사용합니다. 서버는 하나의 라이브 세션을 유지하고, 한 번에 하나의 청크를 생성하며, 생성이 실행되는 동안 런타임 제어 이벤트를 받습니다.

엔드포인트 (Endpoints)

init 메시지

WebSocket이 열린 직후 이 MessagePack 맵을 보내세요.

런타임 event 메시지

init 후 MessagePack 이벤트 맵을 보내 라이브 세션을 업데이트합니다.

camera_actions는 두 가지 페이로드 모드를 지원합니다:

지원되는 LingBot 동작 토큰: 카메라 이동 w, a, s, d와 보기 컨트롤 i, j, k, l.

프롬프트와 카메라 컨트롤을 한 이벤트로 업데이트하는 등 여러 런타임 입력을 함께 샘플링해야 할 때 composite_input을 사용하세요.

서버 메시지

최소 클라이언트 스케치

import msgspec.msgpack
import websocket

ws = websocket.create_connection("ws://127.0.0.1:30000/v1/realtime_video/generate")
ws.send_binary(msgspec.msgpack.encode({
    "type": "init",
    "prompt": "A quiet rainy London alley, stable camera motion.",
    "first_frame": open("reference.jpg", "rb").read(),
    "size": "832x480",
    "fps": 25,
    "num_frames": 9,
    "num_inference_steps": 4,
    "guidance_scale": 1,
    "realtime_output_format": "webp",
    "output_compression": 95,
}))

ws.send_binary(msgspec.msgpack.encode({
    "type": "event",
    "kind": "camera_actions",
    "event_id": 1,
    "payload": {"mode": "state", "transitions": [{"actions": ["w"], "client_ts_ms": 0}]},
}))

ws.send_binary(msgspec.msgpack.encode({
    "type": "event",
    "kind": "prompt",
    "event_id": 2,
    "payload": "A quiet snowy Tokyo alley, stable camera motion.",
}))

ws.send_binary(msgspec.msgpack.encode({
    "type": "event",
    "kind": "composite_input",
    "event_id": 3,
    "payload": {
        "input_types": ["prompt", "camera_actions"],
        "prompt": "A quiet neon Shanghai alley, stable forward camera motion.",
        "camera_actions": [["w"], ["w"], []],
    },
}))

5. 일관성 (Consistency)

LingBot World 2.0은 일관성 검사에 raw-frame websocket GT와 청크별 지연 가드를 사용합니다.

6. 참고 (Notes)

• 대화형 세션에는 realtime 엔드포인트를 사용하세요: /v1/realtime_video/generate.
• 대화형 테스트에는 WebP 프리뷰 전송을 선호하고, 일관성 검사에는 raw-frame 전송을 사용하세요.
• 장기 실행 세션은 인과 캐시, 조건 샘플링, VAE 디코드 동작을 바꾸기 전에 raw-frame 일관성으로 검증해야 합니다.

7. ComfyUI에서 실행 (Run in ComfyUI)