Anyscale — Ray 기반 오픈소스 LLM 서빙·파인튜닝 플랫폼

Anyscale — Ray 기반 오픈소스 LLM 서빙·파인튜닝 플랫폼

Anyscale은 Ray 분산 컴퓨팅 프레임워크를 바탕으로 오픈소스 LLM의 서빙·파인튜닝·배치 추론을 프로덕션 규모로 돌릴 수 있게 해주는 플랫폼이에요. 개발자는 Ray 앱을 인프라 걱정 없이 개발·디버그·스케일링하고, 인프라 엔지니어는 조직의 거버넌스 요구에 맞는 Ray 클러스터를 관리합니다.

출처: https://docs.anyscale.com/llm

LLM 서빙의 핵심 축은 **Ray Serve(오케스트레이션·스케일링) + vLLM(추론) + Anyscale(인프라 관리)**의 조합이에요. 아래 페이지에서 서빙 개요, Llama 배포 튜토리얼, 플랫폼 기능을 살펴볼게요.