CloudflareWorkersAI 통합

CloudflareWorkersAI 통합

LangChain JavaScript로 CloudflareWorkersAI LLM과 통합하는 방법을 알아봅니다.

LangChain으로 Cloudflare Workers AI 텍스트 완성 모델(LLM)을 시작하는 데 도움을 주는 가이드예요. CloudflareWorkersAI 기능과 구성 옵션에 대한 자세한 문서는 API reference를 참조하세요.

출처: 문서

본문

개요

통합 세부 정보

클래스(Class) 패키지(Package) 로컬(Local) 직렬화(Serializable) PY 지원 다운로드(Downloads) 버전(Version)
CloudflareWorkersAI @langchain/cloudflare ❌ ✅ ❌ NPM - Downloads NPM - Version

설정

Cloudflare Workers AI 모델에 접근하려면 Cloudflare 계정을 만들고 API 키를 발급받은 뒤 @langchain/cloudflare 통합 패키지를 설치해야 합니다.

자격 증명(Credentials)

Cloudflare에 가입하고 API 키를 생성하려면 이 페이지로 이동하세요. 완료되면 환경에 자격 증명을 설정하세요:

export CLOUDFLARE_ACCOUNT_ID="your-account-id"
export CLOUDFLARE_API_TOKEN="your-api-token"

설치

LangChain Cloudflare 통합은 @langchain/cloudflare 패키지에 있습니다:

npm install @langchain/cloudflare @langchain/core

yarn add @langchain/cloudflare @langchain/core

pnpm add @langchain/cloudflare @langchain/core

인스턴스화(Instantiation)

이제 모델 객체를 인스턴스화하고 채팅 완성을 생성할 수 있습니다:

// @lc-docs-hide-cell

// @ts-expect-error Deno is not recognized
const CLOUDFLARE_ACCOUNT_ID = Deno.env.get("CLOUDFLARE_ACCOUNT_ID");
// @ts-expect-error Deno is not recognized
const CLOUDFLARE_API_TOKEN = Deno.env.get("CLOUDFLARE_API_TOKEN");

import { CloudflareWorkersAI } from "@langchain/cloudflare";

const llm = new CloudflareWorkersAI({
  model: "@cf/meta/llama-3.1-8b-instruct", // Default value
  cloudflareAccountId: CLOUDFLARE_ACCOUNT_ID,
  cloudflareApiToken: CLOUDFLARE_API_TOKEN,
  // Pass a custom base URL to use Cloudflare AI Gateway
  // baseUrl: `https://gateway.ai.cloudflare.com/v1/{YOUR_ACCOUNT_ID}/{GATEWAY_NAME}/workers-ai/`,
});

호출(Invocation)

const inputText = "Cloudflare is an AI company that "

const completion = await llm.invoke(inputText);
completion

"Cloudflare is not an AI company, but rather a content delivery network (CDN) and security company. T"... 876 more characters

API reference

모든 CloudflareWorkersAI 기능과 구성에 대한 자세한 문서는 API reference를 참조하세요.

더 알아보기 (Learn more)