Skip to content

AI·LLM 통합 (AI & LLM)

D-SKET 제품들은 하나같이 LLM을 품고 있어요. 캔버스는 다이어그램을 만들고, 웹빌더는 사이트 콘텐츠를 쓰고, 이벤트는 경기 리포트를 내고, 뉴런은 상황을 판단합니다. 그런데 이 제품들이 전부 한 벤더의 LLM에만 기대면, 그 벤더의 가격이 오르거나 정책이 바뀔 때마다 우리가 휘둘리게 됩니다.

그래서 우리는 처음부터 어떤 모델이든 갈아 끼울 수 있는 구조(VLSD, 벤더 중립)로 LLM을 다룹니다. 이 페이지는 그 LLM 통합 구조의 허브예요. 아래 목차에서 각 주제로 들어가 보세요.

상황부터 — 벤더에 묶이면 안 되는 이유

LLM은 제품 기능의 일부지만, 동시에 비용이 들고 바뀌기 쉬운 부품이에요. OpenAI가 어떤 모델을 단종하거나, Anthropic이 성능이 좋은 새 모델을 내면 우리 제품이 그걸 바로 쓸 수 있어야 합니다. 제품 소스에 openai.chat.completions 같은 호출이 여기저기 박혀 있으면 그 교체가 매번 공사가 됩니다.

우리가 쓰는 구조를 한마디로 VLSD(Vendor-Agnostic, 벤더 중립)라고 불러요. 특정 벤더가 아니라 "그때그때 가장 맞는 모델"을 고르는 것이 핵심입니다. 코드는 모델 이름을 매개변수로 받고, 실제 모델은 설정에서 정해져요.

하위 페이지

LLM 통합

  • Vercel AI SDK v6 🟢 운영 — TypeScript용 LLM 통합 툴킷. 모델 공급자마다 다른 API를 하나의 인터페이스로 맞춰주고, 스트리밍 UI와 도구 호출을 공통으로 다룹니다.
  • LLM 추상화 계층 / LLM Proxy 🟢 운영 — 제품 코드가 모델 벤더를 몰라도 되게 하는 중간 계층. 모델 등록·선택·디스패치가 여기서 일어나요.
  • BYOK (자기 키 보유) 🟢 운영 — 고객이 자기 회사의 API 키를 가져와 쓰는 방식. 사용량과 비용을 고객이 직접 관리합니다.
  • Provider Fallback 🔵 적용 — 주 모델이 장애나 한도로 응답하지 못하면 다음 벤더 모델로 자동으로 넘겨 제품이 끊기지 않게 합니다.

프롬프트·오케스트레이션

  • 프롬프트 엔지니어링 🔵 적용 — 모델에게 어떤 지시를 어떻게 줄지 설계하는 작업. 결과 품질이 여기서 크게 갈려요.
  • Tool Calling (도구 호출) 🔵 적용 — 모델이 코드나 외부 기능을 실행하도록 호출하는 것. 에이전트가 실제 행동으로 이어지는 핵심이에요.
  • LiteLLM 🔵 적용 — 여러 벤더의 LLM API를 OpenAI 호환 인터페이스 하나로 통일하는 프록시입니다.
  • 모델 디스패치·작업 난이도 분리 🔵 적용 — 복잡한 작업은 고성능 모델, 간단한 분류·요약은 경량(저비용) 모델에 보냅니다.

핵심 개념

LLM 추상화 계층

여러 벤더(Claude, GPT-4o, Gemini)의 모델을 교체 가능한 형태로 관리하고, 벤더마다 다른 응답 형식을 우리 표준 스키마로 정규화합니다. 벤더별 에러도 공통 타입(rate limit, context too long 등)으로 매핑해 상위 코드가 벤더를 몰라도 되게 해요.

BYOK

고객이 자기 API 키(Bring Your Own Key)를 가져와 사용량·비용을 직접 관리하는 방식입니다. 키는 클라이언트에 노출하지 않고 서버 측 프록시를 거치며, 보관할 때는 암호화합니다. 우리가 고객 키를 보관하지 않는 것이 핵심이에요.

Provider Fallback

주 모델이 장애나 한도(rate limit)로 응답하지 못하면 다음 벤더 모델로 자동 전환합니다. 벤더 장애가 곧 제품 장애가 되는 것을 막아주는 안전장치입니다.

모델 디스패치

작업이 오면 그 특성에 맞는 모델로 요청을 배분하는 로직입니다. 예를 들어 클로드가 주력이어도 비용이 중요한 작업은 경량 GPT 모델로, 특정 케이스는 Gemini 백업으로 흘려보냅니다.

사용 사례 / 실제 적용

  • 캔버스 다이어그램 생성 — 사용자가 설명하면 구조를 파악해 다이어그램으로 만들고, 필요한 곳에서 도구 호출로 요소를 배치합니다.
  • 웹빌더 콘텐츠 — 사이트에 들어갈 문구·섹션을 생성합니다. 벤더가 바뀌어도 콘텐츠 로직은 그대로예요.
  • 이벤트 NLG 리포트 — 경기·이벤트 데이터를 문장으로 바꾸는 자연어 생성(NLG) 리포트를 냅니다.
  • 뉴런 판단 — 상황을 읽고 결정을 내리는 자율 에이전트로, Tool Calling과 모델 디스패치를 적극 씁니다.
  • 벤더 중립(VLSD) — 위 모든 제품이 특정 벤더가 아니라 설정으로 정해진 모델을 통해 동작합니다.

더 알아보기