LongCat-2.0

LongCat-2.0

LongCat-2.0-FP8는 Meituan LongCat-2.0의 FP8 체크포인트로, 총 1.6T 파라미터·토큰당 약 48B 활성 파라미터의 대형 희소 Mixture-of-Experts 언어 모델이에요. LongCat Sparse Attention (LSA), expert parallel MoE 레이어, 그리고 n-gram/token-table 임베딩 경로를 결합해 긴 컨텍스트 워크로드를 효율적으로 서빙해요.

출처: 문서

본문

1. Model Introduction

LongCat-2.0-FP8는 Meituan LongCat-2.0의 FP8 체크포인트로, 총 1.6T 파라미터·토큰당 약 48B 활성 파라미터의 대형 희소 Mixture-of-Experts 언어 모델이에요. LongCat Sparse Attention (LSA), expert parallel MoE 레이어, 그리고 n-gram/token-table 임베딩 경로를 결합해 긴 컨텍스트 워크로드를 효율적으로 서빙해요.

리소스: LongCat-2.0-FP8.

2. Configuration Tips

• 원격 코드. Hugging Face 체크포인트에는 --trust-remote-code를 사용해요.
• 토폴로지. 8x B300 레시피는 TP=8·EP=8을 사용해요. H200, B200, H20은 2-노드 16 GPU 배치에 TP=16·EP=16을 사용하며, 명령 패널이 다중 노드 rank 플래그를 자동 주입해요.
• LongCat sparse attention. 모델 카드에 맞춘 prefill 경로를 위해 --dsa-prefill-backend fa3을 --chunked-prefill-size 2048과 함께 유지해요.
• 메모리. 레시피는 --kv-cache-dtype bfloat16을 사용하고 --mem-fraction-static 0.92에서 시작해요. 생성된 명령이 클러스터에서 깨끗하게 시작된 후에만 메모리를 조정하세요.
• 가중치 로딩. --model-loader-extra-config '{"enable_multithread_load":true,"num_threads":12}'은 체크포인트 샤드를 병렬로 로드해 시작 시간을 줄여요.
• FP8 백엔드 선택. --fp8-gemm-runner-backend를 수동으로 전달하지 마세요. SGLang이 LongCat FP8 scale 레이아웃에 맞는 올바른 백엔드를 선택해요.
• Host, port, ranks. 레시피에 하드코딩하는 대신 명령 패널 환경 필드로 HOST_IP, PORT, NODE0_IP, NODE_RANK를 사용하세요.

3. Advanced Usage

3.1 Test the deployment

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meituan-longcat/LongCat-2.0-FP8",
    "messages": [
      {"role": "user", "content": "A shop has 17 apples and sells 8. Then it buys 6 more. How many apples are there? Answer with only the final number."}
    ],
    "max_tokens": 32,
    "chat_template_kwargs": {"enable_thinking": false}
  }'

15

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:30000/v1",
    api_key="EMPTY",
)

response = client.chat.completions.create(
    model="meituan-longcat/LongCat-2.0-FP8",
    messages=[
        {
            "role": "user",
            "content": "Solve: A shop has 17 apples and sells 8, then buys 6 more. Answer with only the final number.",
        }
    ],
    max_tokens=32,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)

print(response.choices[0].message.content)

15

4. Validation

B300 레시피는 위에서 생성된 명령으로 meituan-longcat/LongCat-2.0-FP8을 8x B300에서 검증했어요.

서빙 검증 중 CUDA graph가 활성화됐고, decode CUDA graph 캡처가 성공적으로 완료됐어요.