IBM watsonx.ai 통합

IBM watsonx.ai 통합

LangChain JavaScript로 IBM watsonx.ai LLM과 통합하는 방법을 알아봅니다.

LangChain으로 IBM 텍스트 완성 모델(LLM)을 시작하는 데 도움을 주는 가이드예요. IBM watsonx.ai 기능과 구성 옵션에 대한 자세한 문서는 IBM watsonx.ai를 참조하세요.

출처: 문서

본문

개요

통합 세부 정보

클래스(Class) 패키지(Package) 로컬(Local) 직렬화(Serializable) PY 지원 다운로드(Downloads) 버전(Version)
WatsonxLLM @langchain/ibm ❌ ✅ ✅ NPM - Downloads NPM - Version

설정

IBM WatsonxAI 모델에 접근하려면 IBM watsonx.ai 계정을 만들고 API 키 또는 다른 형태의 자격 증명을 확보한 뒤 @langchain/ibm 통합 패키지를 설치해야 합니다.

자격 증명(Credentials)

IBM Cloud에 방문해 IBM watsonx.ai에 가입하고 API 키를 생성하거나 아래에 제시된 다른 인증 양식을 제공하세요.

IAM 인증

export WATSONX_AI_AUTH_TYPE=iam
export WATSONX_AI_APIKEY=<YOUR-APIKEY>

Bearer token 인증

export WATSONX_AI_AUTH_TYPE=bearertoken
export WATSONX_AI_BEARER_TOKEN=<YOUR-BEARER-TOKEN>

IBM watsonx.ai 소프트웨어 인증

export WATSONX_AI_AUTH_TYPE=cp4d
export WATSONX_AI_USERNAME=<YOUR_USERNAME>
export WATSONX_AI_PASSWORD=<YOUR_PASSWORD>
export WATSONX_AI_URL=<URL>

이 값들이 환경 변수에 들어가고 객체가 초기화되면 인증이 자동으로 진행됩니다.

다음 값들을 새 인스턴스의 파라미터로 전달해 인증할 수도 있습니다.

IAM 인증

import { WatsonxLLM } from "@langchain/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "iam",
  watsonxAIApikey: ***
};
const instance = new WatsonxLLM(props);

Bearer token 인증

import { WatsonxLLM } from "@langchain/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "bearertoken",
  watsonxAIBearerToken: "<YOUR-BEARERTOKEN>",
};
const instance = new WatsonxLLM(props);

IBM watsonx.ai 소프트웨어 인증

import { WatsonxLLM } from "@langchain/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "cp4d",
  watsonxAIUsername: "<YOUR-USERNAME>",
  watsonxAIPassword: "<YOUR-PASSWORD>",
  watsonxAIUrl: "<url>",
};
const instance = new WatsonxLLM(props);

모델 호출에 대한 자동 추적을 받으려면 아래 주석을 해제해 LangSmith API 키를 설정할 수도 있습니다:

# export LANGSMITH_TRACING="true"
# export LANGSMITH_API_KEY="your-api-key"

설치

LangChain IBM watsonx.ai 통합은 @langchain/ibm 패키지에 있습니다:

npm install @langchain/ibm @langchain/core

yarn add @langchain/ibm @langchain/core

pnpm add @langchain/ibm @langchain/core

인스턴스화(Instantiation)

이제 모델 객체를 인스턴스화하고 채팅 완성을 생성할 수 있습니다:

import { WatsonxLLM } from "@langchain/ibm";

const props = {
  decoding_method: "sample",
  maxNewTokens: 100,
  minNewTokens: 1,
  temperature: 0.5,
  topK: 50,
  topP: 1,
};
const instance = new WatsonxLLM({
  version: "YYYY-MM-DD",
  serviceUrl: process.env.API_URL,
  projectId: "<PROJECT_ID>",
  // spaceId: "<SPACE_ID>",
  // idOrName: "<DEPLOYMENT_ID>",
  model: "<MODEL_ID>",
  ...props,
});

참고:

  • spaceId, projectId 또는 idOrName(배포 id) 중 하나를 반드시 제공해야 합니다. 둘 다 지정하지 않고 작동하는 경량 엔진(lightweight engine)을 사용하는 경우는 예외입니다(watsonx.ai 문서 참조).
  • 프로비저닝된 서비스 인스턴스의 리전에 따라 올바른 serviceUrl을 사용하세요.
  • 추론에 사용할 모델을 model\_id로 지정해야 합니다.

모델 게이트웨이(Model Gateway) 사용하기

import { WatsonxLLM } from "@langchain/ibm";

const props = {
  decoding_method: "sample",
  maxNewTokens: 100,
  minNewTokens: 1,
  temperature: 0.5,
  topK: 50,
  topP: 1,
};

const instance = new WatsonxLLM({
  version: "YYYY-MM-DD",
  serviceUrl: process.env.API_URL,
  model: "<MODEL_ID>",
  modelGateway: true,
  ...props,
});

Langchain에서 모델 게이트웨이를 사용하려면 먼저 @ibm-cloud/watsonx-ai SDK 또는 watsonx.ai API를 통해 제공자(provider)를 만들고 모델을 추가해야 합니다. 다음 문서를 참조하세요:

호출과 생성(Invocation and generation)

const result = await instance.invoke("Print hello world.");
console.log(result);

const results = await instance.generate([
  "Print hello world.",
  "Print bye, bye world!",
]);
console.log(results);


print('Hello world.')<|endoftext|>
{
  generations: [ [ [Object] ], [ [Object] ] ],
  llmOutput: { tokenUsage: { generated_token_count: 28, input_token_count: 10 } }
}

체이닝(Chaining)

완성 모델을 프롬프트 템플릿과 체인할 수 있습니다:

import { PromptTemplate } from "@langchain/core/prompts"

const prompt = PromptTemplate.fromTemplate("How to say {input} in {output_language}:\n")

const chain = prompt.pipe(instance);
await chain.invoke(
  {
    output_language: "German",
    input: "I love programming.",
  }
)

Ich liebe Programmieren.

To express that you are passionate about programming in German,

Props 덮어쓰기(Props overwriting)

초기화 시 전달한 props는 객체의 전체 수명 동안 유지되지만, 아래와 같이 두 번째 인자를 전달해 단일 메서드 호출에 대해 값을 덮어쓸 수 있습니다:

const result2 = await instance.invoke("Print hello world.", {
  parameters: {
    maxNewTokens: 100,
  },
});
console.log(result2);

print('Hello world.')<|endoftext|>

토큰화(Tokenization)

이 패키지는 사용될 정확한 토큰 수를 반환하는 자체 getNumTokens 구현을 갖고 있습니다.

const tokens = await instance.getNumTokens("Print hello world.");
console.log(tokens);

4

API reference

모든 IBM watsonx.ai 기능과 구성에 대한 자세한 문서는 API reference를 참조하세요: API docs

더 알아보기 (Learn more)