OLLM 프로바이더

OLLM 은 고보안·제로지식 LLM 제공업체를 집계하는 세계 최초의 엔터프라이즈 라우터예요. 모든 레이어에서 군사급 암호화를 보장하며 AI 모델에 접근할 수 있는 통합 API 게이트웨이를 제공해요. AI SDK용 OLLM 프로바이더는 이러한 모든 모델과 원활하게 통합하면서 고유한 장점을 제공해요:

검증 가능한 프라이버시 (Verifiable Privacy): 모든 모델이 최대 보안을 위해 기밀 컴퓨팅(confidential computing)으로 실행
범용 모델 접근 (Universal Model Access): 여러 제공업체의 모델에 하나의 API 키로 접근
기밀 컴퓨팅 (Confidential Computing): 모든 모델에 TEE(Trusted Execution Environment)를 사용한 하드웨어 레벨 암호화
군사급 보안 (Military-Grade Security): 스택의 모든 레이어에서 엔드투엔드 암호화
간단한 통합 (Simple Integration): 모든 모델에서 OpenAI 호환 API

OLLM의 기능에 대해 더 알고 싶다면 OLLM 웹사이트를 참고하세요.

출처: 문서

본문

설정 (Setup)

OLLM 프로바이더는 @ofoundation/ollm 모듈에서 사용할 수 있어요. 다음과 같이 설치할 수 있어요:

프로바이더 인스턴스 (Provider Instance)

OLLM 프로바이더 인스턴스를 만들려면 createOLLM 함수를 사용하세요:

import { createOLLM } from '@ofoundation/ollm';

const ollm = createOLLM({
  apiKey: 'YOUR_...EY',
});

OLLM API 키는 OLLM 대시보드에서 받을 수 있어요.

언어 모델 (Language Models)

모든 OLLM 모델은 기본적으로 기밀 컴퓨팅으로 실행돼요. 채팅 모델에는 ollm.chatModel()을 사용하세요:

// 기밀 컴퓨팅 채팅 모델
const confidentialModel = ollm.chatModel('near/GLM-4.7');

사용 가능한 전체 모델 목록은 OLLM 모델에서 확인할 수 있어요.

예시 (Examples)

다음은 AI SDK와 함께 OLLM을 사용하는 예시예요:

`generateText`

import { createOLLM } from '@ofoundation/ollm';
import { generateText } from 'ai';

const ollm = createOLLM({
  apiKey: 'YOUR_...EY',
});

const { text } = await generateText({
  model: ollm.chatModel('near/GLM-4.6'),
  prompt: 'What is OLLM?',
});

console.log(text);

`streamText`

import { createOLLM } from '@ofoundation/ollm';
import { streamText } from 'ai';

const ollm = createOLLM({
  apiKey: 'YOUR_...EY',
});

const result = streamText({
  model: ollm.chatModel('near/GLM-4.6'),
  prompt: 'Write a short story about secure AI.',
});

for await (const chunk of result.textStream) {
  console.log(chunk);
}

시스템 메시지 사용 (Using System Messages)

import { createOLLM } from '@ofoundation/ollm';
import { generateText } from 'ai';

const ollm = createOLLM({
  apiKey: 'YOUR_...EY',
});

const { text } = await generateText({
  model: ollm.chatModel('near/GLM-4.6'),
  system: 'You are a helpful assistant that responds concisely.',
  prompt: 'What is TypeScript in one sentence?',
});

console.log(text);

고급 기능 (Advanced Features)

OLLM은 엔터프라이즈급 보안으로 AI 애플리케이션을 향상시키는 여러 고급 기능을 제공해요:

데이터 제로 보관 (Zero Data Retention, ZDR): 프롬프트와 완성 결과는 제공업체에 저장되거나 로깅되지 않아요.
기밀 컴퓨팅 (Confidential Computing): TEE 기술을 사용한 하드웨어 레벨 암호화로, 처리 중에도 데이터가 보호돼요.
검증 가능한 프라이버시 (Verifiable Privacy): 데이터가 안전하게 처리됐다는 암호학적 증명.
모델 유연성 (Model Flexibility): 코드를 바꾸거나 여러 API 키를 관리하지 않고도 수백 개 모델 사이를 전환해요.
비용 관리 (Cost Management): 대시보드를 통해 모델별 사용량과 비용을 실시간으로 추적해요.
엔터프라이즈 지원 (Enterprise Support): 커스텀 SLA와 전담 지원이 있는 대용량 사용자용.
도구 통합 (Tool Integrations): 다음을 포함한 인기 AI 개발 도구와 원활하게 작동해요:
- Cursor
- Windsurf
- VS Code
- Cline
- Roo Code
- Replit

이 기능들과 고급 설정 옵션에 대한 자세한 내용은 OLLM 문서를 참고하세요.

더 알아보기 (Learn more)

전체 사이트맵