챗봇

챗봇 (Chatbot)

모델과 프롬프트만으로 대화형 앱을 만드는 가장 간단한 방법이에요. 사용자가 채팅 인터페이스를 통해 모델과 대화하는 앱이죠. 알고 있는 지식 베이스에 기반한 내부 Q&A 어시스턴트처럼, 대화를 주고받는 게 유리하지만 도구 호출이나 다단계 워크플로가 필요 없는 작업에 적합합니다.

출처: 공식문서

참고로 챗봇은 대화당 최대 500개 메시지 또는 2,000 토큰의 히스토리를 유지합니다. 어느 한도든 넘으면 가장 오래된 메시지를 제거해 새 메시지를 위한 공간을 만듭니다. 또 대화 시작 문구, 후속 질문 제안 같은 선택 기능도 지원해요 — 자세한 건 App Toolkit 문서를 참고하세요.

구성하기

프롬프트 작성

프롬프트는 모델이 무엇을 하고, 어떻게 응답하고, 어떤 제약을 따를지 알려줍니다. 대화 내내 모델의 행동을 결정하기 때문에, 일회성 작업을 기술한다기보다 일관된 페르소나를 정의한다고 생각하는 게 좋아요. 효과적인 프롬프트 작성 팁입니다.

  • 페르소나 정의: 모델이 누구로 행동하고 어떤 톤을 쓸지 기술합니다.
  • 출력 형식 명시: 기대하는 구조, 길이, 스타일을 기술합니다.
  • 제약 설정: 무엇을 피해야 하고 어떤 규칙을 따를지 알려줍니다.

변수로 동적 프롬프트 만들기

매번 프롬프트를 다시 쓰지 않고 챗봇을 사용자·상황에 맞추려면 변수를 추가하세요. 변수는 프롬프트 안의 자리표시자예요 — 각각이 대화 시작 전 사용자가 채우는 입력 필드로 나타나고, 런타임에 값이 프롬프트에 주입됩니다. 사용자가 대화 중간에 변수 값을 갱신하면 프롬프트도 그에 맞춰 바뀝니다. 예를 들어 온보딩 어시스턴트가 role과 language로 응답을 맞춰 주는 경우가 있어요.

You are an onboarding assistant for new {{role}} hires. Answer questions about company processes and policies. Keep answers friendly and concise, and respond in {{language}}.

프롬프트를 작성하다가 / > New Variable를 입력하면 이름이 붙은 자리표시자를 빠르게 삽입하고, 나중에 Variables 섹션에서 세부 사항을 구성할 수 있습니다.

입력에 맞는 변수 유형을 고르세요.

  • Short Text: 최대 256자. 이름·이메일·제목처럼 한 줄에 들어가는 짧은 텍스트에 씁니다.
  • Paragraph: 길이 제한 없는 긴 텍스트. 자세한 설명을 위한 여러 줄 입력 영역을 제공합니다.
  • Select: 미리 정의된 옵션을 보여주는 드롭다운 메뉴.
  • Number: 숫자 값만 허용. 수량·평점·ID처럼 수치 처리가 필요한 데이터에 적합합니다.
  • Checkbox: 간단한 예/아니오. 체크하면 true, 아니면 false를 출력합니다. 확인이나 이진 선택에 씁니다.
  • API-based Variable: 사용자에게 받는 대신 런타임에 외부 API에서 변수 값을 가져옵니다. 실시간 날씨나 DB 레코드처럼 외부 소스의 동적 데이터가 프롬프트에 필요할 때 사용하세요.

Label Name은 각 입력 필드의 최종 사용자 노출 이름입니다.

AI로 프롬프트 생성 또는 개선

어디서부터 시작할지 모르겠거나 기존 프롬프트를 다듬고 싶다면 Generate를 클릭해 LLM이 초안을 쓰게 하세요. 원하는 걸 처음부터 기술하거나 current_prompt를 참조해 무엇을 개선할지 지정하면 됩니다. 더 정확한 결과를 원하면 Ideal Output에 예시를 넣어요.

응답을 자체 데이터에 근거시키기

모델 응답을 일반 지식이 아니라 우리 데이터에 근거시키려면 지식 베이스를 추가하세요. 사용자가 메시지를 보낼 때마다 그 메시지를 검색 쿼리로 삼아 지식 베이스에서 관련 콘텐츠를 검색하고, 이를 모델의 컨텍스트로 프롬프트에 주입합니다.

앱 수준 검색 설정 구성

검색 결과를 어떻게 처리할지는 Retrieval Setting에서 미세하게 조정합니다. 검색 설정에는 지식 베이스 수준과 앱 수준 두 레이어가 있어요 — 연속된 두 개의 필터라고 생각하면 됩니다. 지식 베이스 설정이 초기 결과 풀을 결정하고, 앱 설정이 그 결과를 다시 랭킹하거나 풀을 좁힙니다.

  • Rerank Settings
    • Weighted Score: 리랭킹 시 의미 유사성과 키워드 매칭 사이의 상대적 가중치. 의미 가중치가 높으면 뜻이 맞는 결과를, 키워드 가중치가 높으면 정확히 일치하는 결과를 선호합니다. Weighted Score는 추가된 모든 지식 베이스가 High Quality 모드로 인덱스되어 있을 때만 쓸 수 있어요.
    • Rerank Model: 쿼리와의 관련성에 따라 모든 결과를 다시 점수 매기고 순서를 바꾸는 리랭크 모델. 멀티모달 지식 베이스가 추가되면 Vision 태그가 붙은 멀티모달 리랭크 모델도 골라야 합니다. 그렇지 않으면 검색된 이미지가 리랭킹과 최종 출력에서 제외됩니다.
    • Top K: 리랭킹 후 반환할 최상위 결과의 최대 개수. 리랭크 모델을 선택하면 이 값은 모델의 최대 입력 용량에 맞춰 자동 조정됩니다.
    • Score Threshold: 결과를 반환하기 위한 최소 유사도 점수. 이 값보다 낮으면 제외됩니다.

특정 문서 내에서 검색

기본적으로 검색은 지식 베이스 전체를 대상으로 합니다. 특정 문서로 검색을 제한하려면 수동 또는 자동 메타데이터 필터링을 활성화하세요. 지식 베이스가 크거나 서로 다른 컨텍스트의 콘텐츠가 섞여 있을 때 검색 정밀도를 높여줍니다. 문서 메타데이터 생성·관리는 Metadata 문서를 참고하세요.

멀티모달 입력 처리

최종 사용자가 파일을 업로드하게 하려면 해당 멀티모달 기능을 지원하는 모델을 선택하세요. 모델이 지원하면 Vision·Audio·Document 같은 관련 파일 유형 토글이 나타나고, 필요에 따라 각각 활성화할 수 있습니다. 모델이 지원하는 모달리티는 모델의 태그로 빠르게 확인할 수 있어요.

Vision 아래 Settings를 클릭하면 파일을 어떻게 받고 처리할지 구성합니다. 업로드 설정은 활성화된 모든 파일 유형에 적용됩니다.

  • Resolution: 이미지 처리의 디테일 수준만 제어합니다. High는 복잡한 이미지에 정확도가 높지만 토큰을 더 쓰고, Low는 단순 이미지에 더 적은 토큰으로 처리 속도가 빠릅니다.
  • Upload Method: 사용자가 기기에서 업로드할지, URL을 붙여 넣을지, 둘 다 허용할지 선택합니다.

디버그 & 프리뷰

오른쪽 프리뷰 패널에서 챗봇을 실시간으로 테스트하세요. 작업에 가장 알맞은 모델을 고르고 메시지를 입력해 모델이 어떻게 응답하는지 확인합니다. 모델을 고른 뒤 파라미터를 조정해 응답 생성을 제어할 수 있는데, 사용 가능한 파라미터·프리셋은 모델마다 다릅니다. 서로 다른 모델의 출력을 비교하려면 Debug as Multiple Models를 클릭해 최대 4개 모델을 동시에 실행해 보세요.

배포

결과가 마음에 들면 Publish를 클릭해 앱을 공개합니다. 배포 옵션의 전체 목록은 Publish 문서에서 확인하세요.

더 알아보기 (Learn more)