Databricks Foundation Model APIs

Databricks Foundation Model APIs

Databricks에서 직접 호스팅하는 최신 오픈 모델을 서빙 엔드포인트로 접근하고 쿼리할 수 있는 서비스예요. 자체적으로 모델을 배포하고 운영하지 않아도 되니까, 애플리케이션 개발에 바로 착수할 수 있어요. Foundation Model APIs는 Databricks Designated Service로 분류되어, 고객 콘텐츠를 처리할 때 데이터 상주를 Databricks Geos로 관리한다는 점도 기억해 두면 좋아요.

출처: Databricks Foundation Model APIs

제공 방식 (모드)

Foundation Model APIs는 세 가지 모드로 제공돼요. 시작 단계와 프로덕션 요구에 맞춰 골라 쓰면 돼요.

  • Pay-per-token: 토큰 단위 과금으로, Foundation Model APIs를 시작하기에 가장 쉬운 방식이에요. 고처리량 애플리케이션용으로 설계되진 않았지만 프로덕션 워크로드에도 쓸 수 있어요.
  • Provisioned throughput: 모든 프로덕션 워크로드에 권장되는 방식이에요. 고처리량·성능 보장·파인튜닝 모델·추가 보안 요구가 있는 경우 특히 적합하며, HIPAA 같은 규제 준수 인증도 제공돼요.
  • AI Functions 최적화 모델: 배치 추론 워크로드에 권장돼요. AI Functions를 이용해 어떤 생성형 AI나 ML 모델로도 배치 추론을 실행할 수 있어요.

무엇을 할 수 있나

  • 리소스를 더 투자하기 전에 범용 LLM으로 프로젝트 타당성을 검증할 수 있어요.
  • 커스텀 모델을 훈련·배포하기 전에 LLM 기반 애플리케이션의 프로토타입을 빠르게 만들어 볼 수 있어요.
  • 파운데이션 모델과 벡터 인덱스를 조합해 RAG 기반 챗봇을 만들 수 있어요.
  • 비용과 성능 최적화를 위해 독점 모델을 오픈 모델로 교체할 수 있어요.
  • LLM을 효율적으로 비교해서 용도에 맞는 최적 후보를 고르거나, 더 나은 모델로 프로덕션 모델을 교체할 수 있어요.
  • SLA가 보장되는 확장 가능한 LLM 서빙 위에 개발·프로덕션용 LLM 애플리케이션을 만들고, 트래픽 급증도 처리할 수 있어요.

사용 요구사항

  • 엔드포인트 요청을 인증할 Databricks API 토큰
  • provisioned throughput 모델용 서버리스 컴퓨트
  • 지원 리전의 워크스페이스 (Pay-per-token 리전, Provisioned throughput 리전)

API는 OpenAI 호환

Foundation Model APIs는 OpenAI와 호환돼서, OpenAI 클라이언트로 바로 쿼리할 수 있어요. UI, Foundation Models APIs Python SDK, MLflow Deployments SDK, REST API로도 쿼리할 수 있죠. 특히 긴 상호작용에는 OpenAI 클라이언트 SDK나 API를, 기능 시험에는 UI를 권장해요.

Pay-per-token 모델을 서빙하는 사전 구성 엔드포인트는 작업 공간에서 바로 접근할 수 있어요. 좌측 사이드바의 Serving 탭으로 가면 Endpoints 목록 맨 위에서 Foundation Model APIs를 찾을 수 있어요.

더 알아보기