채팅 기본
채팅 기본 (Chat basics)
채팅 모델은 메시지를 보내면 응답을 받는 대화형 모델이에요. 2023년 중반 이후 대부분의 언어 모델은 채팅 모델이며, "instruct" 또는 "instruction-tuned" 모델로 불리기도 해요. 채팅을 지원하지 않는 모델은 "base" 또는 "pretrained" 모델로 불리는 경우가 많습니다.
더 크고 새로운 모델이 일반적으로 더 유능하지만, 특정 도메인(의료, 법률 텍스트, 비영어 언어 등)에 특화된 모델이 이 큰 모델을 종종 능가할 수 있어요. OpenLLM, LMSys Chatbot Arena 같은 리더보드를 사용해 사용 사례에 가장 적합한 모델을 고르는 데 도움을 받으세요.
이 가이드는 Transformers에서 명령줄로 채팅 모델을 빠르게 로드하는 법, 대화를 구성·포맷하는 법, TextGenerationPipeline으로 채팅하는 법을 보여줍니다.
chat CLI
Transformers를 설치한 뒤, 명령줄에서 바로 모델과 채팅할 수 있어요. 아래 명령은 세션 시작 시 몇 가지 기본 명령과 함께 모델과 대화형 세션을 시작합니다.
다음 명령들을 실행하려면 transformers serve가 실행 중인지 확인하세요.
transformers chat Qwen/Qwen2.5-0.5B-Instruct
임의의 generate 플래그로 CLI를 실행할 수 있어요. 형식은 arg_1=value_1 arg_2=value_2 ...입니다.
transformers chat Qwen/Qwen2.5-0.5B-Instruct do_sample=False max_new_tokens=10
전체 옵션 목록은 아래 명령을 실행하세요.
transformers chat -h