파운데이션 모델 정보 조회하기

파운데이션 모델 정보 조회하기

watsonx.ai에 배포된 파운데이션 모델 목록을 API로 받아오고, 필요한 필터를 걸어 쓸모 있는 형태로 줄이는 방법을 다뤄요. 여기서 얻은 모델 ID는 바로 코드에서 모델을 참조할 때 쓰게 돼요.

출처: Getting foundation model information - IBM watsonx.ai 공식 문서

개발 방법

REST API, Python, Node.js로 파운데이션 모델 정보를 조회할 수 있어요. UI를 선호한다면 watsonx.ai의 Resource hub에서도 모델 목록을 보고 필터링할 수 있어요 (Supported foundation models, Supported encoder models 참고).

REST API로 모델 목록 조회

watsonx.ai API의 List the available foundation models 메서드를 쓰면 사용 가능한 파운데이션 모델 정보를 얻을 수 있어요. 반환되는 정보에는 모델 ID가 포함되어 있는데, 그걸로 코드에서 모델을 참조하게 돼요.

IBM이 watsonx.ai에 제공한 모델 — 바로 추론할 수 있는 모델들의 목록이에요.

curl -X GET \
 'https://<region>.<cloud-provider-domain>/ml/v1/foundation_model_specs?version=2024-05-01'

모델 ID를 얻은 뒤에는 model_id 파라미터에 그 값을 넣어 API 요청을 보내요.

curl --request POST 'https://<region>.<cloud-provider-domain>/ml/v1/text/generation?version=2023-05-02'
-H 'Authorization: Bearer ***'
-H 'Content-Type: application/json'
-H 'Accept: application/json'
--data-raw '{
 "model_id": "ibm/granite-8b-code-instruct",
 "input": "Tell me a story",
 "project_id": "63dc4cf1-252f-424b-b52d-5cdd9814987f"
}'

커스텀 파운데이션 모델 — 접근 가능한 배포된 커스텀 모델 목록은 이렇게 조회해요. 이 메서드는 베어러 토큰이 필요해요.

curl -X GET \
 'https://{region}.ml.cloud.ibm.com/ml/v4/deployments?version=2024-12-12&type=custom_foundation_model'

Deploy on demand 모델 — 직접 배포할 수 있는 IBM 제공 모델 목록은 다음 메서드를 써요.

curl -X GET \
 'https://{region}.ml.cloud.ibm.com/ml/v1/foundation_model_specs?version=2024-12-10&filters=curated'

배포형 모델의 모델 ID 찾기

제공된 파운데이션 모델은 IBM foundation models, Third-party foundation models, IBM embedding models, Third-party embedding models, Reranker models 링크에서 모델 ID를 찾을 수 있어요.

⚠️ 중요: Deploy on demand 모델은 모델 ID로 추론하지 않아요. 모델 ID는 배포할 때만 쓰고, 배포가 끝나면 배포의 API 엔드포인트로 추론해요.

Deploy on demand 모델을 API로 배포하려면 REST API의 Create a deployment 메서드를 쓰고, 추론은 Deployments > Infer text 메서드를 사용해요. 아래는 API에서 배포할 때 {model_id} 파라미터에 넣을 값 목록이에요.

더 알아보기

• IBM watsonx.ai REST API 개요
• watsonx.ai에서 텍스트 생성하기
• 텍스트 임베딩이란