AI 추론 (AI Inference & Serving)¶

외부 LLM API를 못 쓰는 제품이 있어요. 뉴런(자율 에이전트)처럼 비용과 프라이버시가 민감하면, 문서나 데이터를 외부 벤더에 매번 보내기 어렵습니다. 그런데 반대로 모든 모델을 직접 돌리는 것도 부담이죠 — GPU 장비와 운영 비용이 따르니까요.

그래서 우리는 "경량 모델은 이미 로컬에서, 큰 생성 모델은 나중에 자체 GPU로" 나눠서 접근합니다. 이 페이지는 그 추론(모델을 실제로 돌려 결과를 내는 일)과 서빙 전략의 허브예요. 아래 목차에서 각 기술로 들어가 보세요.

상황부터 — 외부 API를 못 쓰는 제품¶

RAG나 채팅처럼 공개 콘텐츠를 다루는 제품은 외부 LLM을 그대로 써도 무방해요. 하지만 뉴런처럼 고객의 내부 데이터를 판단해 결정을 내리는 제품은, 그 데이터를 매 요청마다 외부로 보내기 불편할 수 있습니다.

이 경우 선택지는 두 갈래예요. 크기가 작고 결과가 크게 다르지 않은 모델은 직접 돌려서 응답 시간과 비용을 우리가 관리하고, 크고 무거운 생성 모델만 별도 GPU 장비에서 서빙하는 겁니다. 전자는 이미 하고 있고, 후자는 로드맵입니다.

vLLM 🟡 로드맵 — 대규모 LLM을 고속으로 서빙하는 엔진. 양자화(INT4/INT8)와 텐서 병렬화로 큰 생성 모델을 GPU에서 돌리는 주력 후보입니다.
TGI (텍스트 생성 추론) 🟡 로드맵 — Hugging Face의 LLM 서빙 도구. 모델 배포·스케일링을 간단히 해주는 대안으로 보고 있어요.

Ollama 🟢 운영 — 오픈소스 모델을 로컬에서 쉽게 내려받고 돌리는 실행 도구. 개발 환경이나 간단한 서빙에 쓰고 있어요.
ONNX 🟢 운영 — 모델을 한 번 변환해 두면 프레임워크 종류와 무관하게 돌릴 수 있는 표준 형식입니다. 경량 모델을 실행 전용으로 변환하는 데 씁니다.

모델 크기와 지연 요구에 따라 CPU, NPU(신경망 전용 칩), GPU 중 적절한 하드웨어에서 추론합니다. 작고 가벼운 모델은 CPU/NPU로, 크고 무거운 생성 모델은 GPU로 보냅니다.

모델의 숫자 정밀도를 줄여(INT4/INT8) 메모리와 속도를 개선하는 기법입니다. GPU 비용을 낮추는 핵심 수단으로 계획하고 있어요.

한 모델을 여러 GPU로 나눠 연산해서, 메모리에 안 들어가는 큰 모델도 돌리는 기법입니다. H100 같은 고사양 GPU에서 큰 생성 모델을 서빙할 때 검토합니다.

뉴런 (자율 에이전트) 로컬 파싱 — 외부 LLM에 보내기 전에, 들어온 문서·데이터를 가벼운 로컬 모델로 분류·파싱해 구조를 잡습니다. 비용이 싸고, 민감 데이터가 밖으로 나가기 전 단계에서 처리할 수 있어요.
소형 모델 온디바이스 처리 — ONNX·Ollama로 변환해둔 모델을 CPU/NPU에서 돌려 지연을 줄입니다.
큰 생성 모델 자체 GPU 서빙 (로드맵) — 뉴런 같은 제품의 핵심 생성 단계를 vLLM·TGI로 자체 GPU에서 서빙하는 계획입니다. H100 장비 도입과 양자화로 비용을 낮추는 방향으로 검토하고요.
비용·프라이버시 분리 — 공개 제품은 외부 LLM, 민감 제품은 자체 서빙으로 경로를 나눠서, "외부는 비싸다" 또는 "외부는 위험하다"는 문제를 각각 다른 전략으로 풉니다.