커스텀 모델에 연결하기
커스텀 모델에 연결하기
Playground를 사용하면 자체 커스텀 모델을 사용할 수 있어요. LangChain 애플리케이션을 서빙하기 위한 오픈 소스 라이브러리인 LangServe를 통해 모델의 API를 노출하는 모델 서버를 배포할 수 있어요. 내부적으로 Playground는 모델 서버와 상호작용해 응답을 생성해요.
출처: 문서
본문
커스텀 모델 서버 배포하기
편의를 위해 참조로 사용할 수 있는 샘플 모델 서버를 제공해요. 시작점으로 샘플 모델 서버를 사용하는 것을 강력히 권장해요.
모델이 instruct 스타일인지 chat 스타일인지에 따라 custom_model.py 또는 custom_chat_model.py를 각각 구현해야 해요.
구성 가능한 필드 추가하기
모델을 다른 파라미터로 구성하는 것이 유용한 경우가 많아요. 여기에는 temperature, model_name, max_tokens 등이 포함될 수 있어요.
Playground에서 모델을 구성 가능하게 만들려면 모델 서버에 구성 가능한 필드를 추가해야 해요. 이러한 필드는 Playground에서 모델 파라미터를 변경하는 데 사용할 수 있어요.
config.py 파일에서 with_configurable_fields 함수를 구현해 구성 가능한 필드를 추가할 수 있어요.
def with_configurable_fields(self) -> Runnable:
"""Expose fields you want to be configurable in the Playground. We will automatically expose these to the
Playground. If you don't want to expose any fields, you can remove this method."""
return self.configurable_fields(n=ConfigurableField(
id="n",
name="Num Characters",
description="Number of characters to return from the input prompt.",
))
Playground에서 모델 사용하기
모델 서버를 배포한 후에는 Playground에서 사용할 수 있어요. Playground에 들어가서 chat 스타일 모델에는 ChatCustomModel, instruct 스타일 모델에는 CustomModel 프로바이더를 선택하세요.
URL을 입력하세요. Playground는 사용 가능한 엔드포인트와 구성 가능한 필드를 자동으로 감지해요. 그런 다음 원하는 파라미터로 모델을 호출할 수 있어요.
모든 것이 올바르게 설정되었다면 Playground에서 모델의 응답과 with_configurable_fields에 지정된 구성 가능한 필드를 볼 수 있을 거예요.
자세한 내용은 나중에 사용하기 위해 모델 구성을 저장하는 방법을 참고하세요.