MLRun GenAI 플로우

MLRun GenAI 플로우

MLRun GenAI 플로우는 대형 언어 모델(LLM) 기반 애플리케이션을 위한 특화 워크플로예요. 데이터 관리, RAG(Retrieval-Augmented Generation) 개발, LLM 배포·서빙, GPU 자원 활용까지 GenAI 앱 전 과정을 MLRun 도구로 연결할 수 있어요.

출처: MLRun GenAI Flow

GenAI 개발의 특징

LLM 앱은 일반 모델과 달리 데이터 준비·임베딩·벡터 DB·LLM 서빙·가드레일 등 여러 조각이 얽혀요. MLRun GenAI 플로우는 이 조각들을 파이프라인으로 묶어, 실험과 배포를 재현성 있게 진행하게 해줘요.

데이터 관리와 RAG

GenAI 플로우의 데이터 관리 섹션에서는 비정형 데이터(문서 등)를 처리하고 벡터 DB로 관리해요. RAG 개발은 문서를 검색해 LLM의 답변에 맥락(Context)을 더하는 흐름을 구성해서, 모델이 보다 신뢰할 수 있는 답을 만들도록 도와요. 파이프라인은 검색·임베딩·프롬프트·생성을 단계별로 나눠 실행합니다.

배포와 GPU 활용

LLM 서빙은 추론 속도와 자원이 중요해요. MLRun은 GenAI 서빙 그래프를 제공하고 GPU 자원 활용을 관리해서, LLM을 실시간 추론 서비스로 배포할 때 성능을 확보할 수 있게 해줘요. 벤치마크·활용도 추적도 함께 고려됩니다.

더 알아보기