LLM을 독립 모듈로 사용하기

LLM을 독립 모듈로 사용하기

LLM 모듈은 LlamaIndex에서 독립적으로 단독 사용할 수 있어요. 인덱스나 쿼리 엔진을 거치지 않고도 텍스트 완성(text completion)이나 채팅 API를 바로 호출하고 싶을 때 유용하죠.

출처: 문서

본문

텍스트 완성 예시

OpenAI LLM을 직접 만들어서 완성(completion)과 스트리밍 완성을 사용할 수 있어요.

from llama_index.llms.openai import OpenAI


# non-streaming
completion = OpenAI().complete("Paul Graham is ")
print(completion)


# using streaming endpoint
from llama_index.llms.openai import OpenAI


llm = OpenAI()
completions = llm.stream_complete("Paul Graham is ")
for completion in completions:
    print(completion.delta, end="")

채팅 예시

ChatMessage 객체 목록을 만들어 .chat() 메서드에 넘기면 채팅 응답을 받을 수 있어요.

from llama_index.core.llms import ChatMessage
from llama_index.llms.openai import OpenAI


messages = [
    ChatMessage(
        role="system", content="You are a pirate with a colorful personality"
    ),
    ChatMessage(role="user", content="What is your name"),
]
resp = OpenAI().chat(messages)
print(resp)

각 LLM 통합별 상세 사용법은 modules 섹션에서 확인할 수 있어요.

더 알아보기 (Learn more)