Vast.ai Serverless 개요
Vast.ai Serverless 개요
GPU를 직접 관리하지 않으면서도 컴퓨팅 집약적 워크로드를 실행하고 싶다면, Vast Serverless가 그 역할을 대신해 줘요. 이 플랫폼은 GPU 임대 시간이 아니라 실제로 실행한 만큼만 비용을 청구하는 구조라, 온디맨드 추론이나 배치 작업처럼 수요가 들쭉날쭉한 '폭발적인(bursty)' 워크로드에 특히 잘 맞아요. 파이썬 SDK를 통해 거의 모든 조작이 가능하고, 벤치마킹으로 가장 비용 효율적인 GPU를 골라 쓰는 점이 가장 큰 특징이에요.
서버리스가 일반적인 의미와 어떻게 다른가요
보통 '서버리스'라고 하면 함수 단위로 실행하고 관리할 서버가 없는 환경을 떠올리죠. Vast Serverless의 핵심 차이는 GPU를 직접 관리할 필요가 없다는 데 있어요. 인프라를 준비하고 GPU를 골라 인스턴스를 띄우는 대신, 워크로드를 정의하면 플랫폼이 그걸 실행하기에 가장 적합한 GPU를 자동으로 찾아 할당해 줘요.
거기에 더해 Vast의 마켓플레이스 전체를 대상으로 벤치마킹을 수행해 가장 비용 효율적인 GPU 클래스를 자동 선택해요. 이 덕분에 더 저렴하고 효율적으로 스케일링할 수 있는데, 그 대가로 새 엔드포인트를 만들 때마다 워크로드를 서로 다른 GPU 클래스에 맞춰 평가하는 기간이 필요해요.
독특한 기능 (Unique Features)
- 벤치마크 기반 스케일링 (Benchmark-driven scaling): 내 워크로드에 가장 좋은 가격 대비 성능을 내는 GPU를 자동으로 찾아 워커로 모집해요.
- 하나의 엔드포인트, 혼합 하드웨어 (One endpoint, mixed hardware): Vast의 광범위한 GPU 풀(컨슈머급부터 최상위 GPU까지)을 최소한의 오버헤드로 자동 활용해요.
- 세밀한 제어와 투명성 (Fine-grain control and transparency): 인프라에 대한 정밀한 설정과 관측이 가능해서, 다른 곳에서 얻기 어려운 수준의 제어권을 가져요.