대형 언어 모델

대형 언어 모델 (Large Language Models)

LLM은 LlamaIndex가 답변을 생성하는 두뇌 역할을 해요. 커스텀 LLM을 정의하는 법부터 파인튜닝이 꼭 필요한지까지 FAQ로 정리했습니다.

출처: 문서

본문

1. 커스텀 LLM을 어떻게 정의하나요?

Usage Custom 문서를 참고하면 커스텀 LLM을 정의할 수 있습니다.

2. 다른 OpenAI 모델을 어떻게 사용하나요?

다른 OpenAI 모델을 쓰려면 Configure Model 문서에서 자신의 커스텀 모델을 설정하면 됩니다.

3. 프롬프트를 어떻게 커스터마이징하나요?

Prompts 문서를 참고하면 프롬프트를 커스터마이징하는 방법을 배울 수 있습니다.

4. 모델을 파인튜닝해야 하나요?

아니요. 더 나은 결과를 제공해 주는 별도 모듈이 있을 수는 있지만 필수는 아니며, 모델을 파인튜닝하지 않아도 LlamaIndex를 그대로 사용할 수 있습니다.

5. LLM이 영어로만 답변하고 중국어/이탈리아어/프랑스어로 답변하지 않는데 어떻게 해야 하나요?

LLM이 다른 언어로 더 정확하게 답변하게 하려면 프롬프트를 수정해 출력 언어를 더 강하게 강제할 수 있습니다.

response = query_engine.query("Rest of your query... \nRespond in Italian")

또는 다음과 같이 할 수도 있습니다.

from llama_index.core import Settings
from llama_index.llms.openai import OpenAI


llm = OpenAI(system_prompt="Always respond in Italian.")


# set a global llm
Settings.llm = llm


query_engine = load_index_from_storage(
    storage_context,
).as_query_engine()

6. LlamaIndex는 GPU 가속을 지원하나요?

네, 로컬에서 LLM을 실행할 때 GPU에서 언어 모델을 실행할 수 있습니다. GPU 지원 LLM 설정 예시는 llama2 setup 문서에서 확인할 수 있습니다.