Modal (서버리스 LLM 제공·추론)
Modal (서버리스 LLM 제공·추론)
Modal은 코드로 GPU와 컨테이너 환경을 지정하고, 트래픽에 따라 자동으로 확장·축소되는 서버리스 AI 인프라 플랫폼이에요. LLM 추론, 배치 작업, 잡 큐, 샌드박스까지 인프라를 생각하지 않고 돌릴 수 있죠. pip install modal 한 번이면 바로 시작할 수 있어요.
이 카테고리의 문서
- 서버리스 함수: Functions, 함수 호출, 크론/스케줄
- GPU·리소스: GPU 가속, CUDA, CPU/메모리 구성
- LLM 추론: 고성능 LLM 추론, 모델 가중치 저장
- HTTP 서빙: Servers, Web Functions, 스케일링