어노테이션 시스템
어노테이션 시스템 (Annotation System)
고품질 응답의 큐레이션된 라이브러리를 구축해 일관성을 높이고 AI 생성을 우회하는 방법을 알아봐요.
어노테이션(Annotation)을 사용하면 특정 질문에 대한 완벽한 응답의 큐레이션된 라이브러리를 만들 수 있어요. 사용자가 비슷한 질문을 하면, Dify는 새로 응답을 생성하는 대신 여러분이 미리 작성한 답을 반환해 일관성을 보장하고, 중요한 주제에 대한 AI 환각을 없애줘요.
언제 어노테이션을 사용하나요
엔터프라이즈 표준: 일관성이 중요한 정책 질문, 제품 정보, 고객 서비스 시나리오에 대한 확정 답변을 만듭니다.
빠른 프로토타이핑: 모델을 재학습하거나 복잡한 프롬프트 엔지니어링 없이, 고품질 응답을 큐레이션해 데모 애플리케이션을 빠르게 개선합니다.
품질 보증: 민감하거나 중요한 특정 질문이 항상 승인된 응답을 받도록 보장해, 결과가 달라질 수 있는 AI 생성 콘텐츠를 대신하게 합니다.
어노테이션이 어떻게 동작하나요
어노테이션 응답(annotation reply)이 활성화되면:
- 사용자가 질문을 합니다
- 시스템이 기존 어노테이션에서 의미적으로 일치하는 것을 검색합니다
- 유사도 임계값을 넘는 일치가 있으면 큐레이션된 응답을 반환합니다
- 일치가 없으면 정상적인 AI 생성을 진행합니다
- 어떤 어노테이션이 얼마나 자주 사용되는지 추적합니다
이것은 "빠른 경로(fast path)"를 만들어 이미 검증된 답변을 즉시 반환하면서도, 새로운 질문에는 AI의 유연성을 유지하게 해 줍니다.
어노테이션 설정하기
앱 구성에서 활성화: **Orchestrate(오케스트레이션) → Add Features(기능 추가)**로 이동해 annotation reply를 활성화하세요. 일치를 위한 유사도 임계값과 임베딩 모델을 구성해요.
유사도 임계값 (Similarity Threshold): 값이 높을수록 더 가까운 일치가 필요해요. 보통 수준에서 시작해 적중률에 따라 조정하세요.
임베딩 모델 (Embedding Model): 의미적 일치를 위해 질문을 벡터화하는 데 사용돼요. 모델을 변경하면 모든 임베딩이 다시 생성돼요.
어노테이션 만들기
대화에서: 디버그 모드나 로그에서 AI 응답을 클릭해 완벽한 답으로 편집한 뒤, 나중에 사용할 어노테이션으로 저장하세요.
일괄 가져오기: 템플릿을 다운로드하고, 지정된 형식으로 Q&A 쌍을 만든 뒤 업로드해 일괄 생성하세요.
수동 입력: **Annotations(어노테이션)**에서 직접 커스텀 질문과 응답으로 추가하세요.
어노테이션 품질 관리하기
적중 추적: 어떤 어노테이션이 일치되는지, 얼마나 자주 사용되는지, 일치의 유사도 점수를 모니터링하세요. 어떤 어노테이션이 가치를 제공하는지 보여줘요.
지속적 개선: 적중 이력을 검토해 어노테이션 범위와 정확도를 개선하세요. 일관되게 일치하지 않는 질문은 범위의 공백을 나타내요.
A/B 테스트: 어노테이션 도입 전후의 사용자 만족도를 비교해 영향을 측정하세요.
어노테이션 분석
적중률 분석: 자주 일치하는 어노테이션과 전혀 사용되지 않는 것을 추적하세요. 사용되지 않는 어노테이션을 제거하고 성공적인 패턴을 확장하세요.
질문 패턴: 어노테이션 범위가 도움이 될 공통 사용자 질문 유형을 식별하세요.
일치 품질: 유사도 점수를 검토해 어노테이션이 적절한 질문에서만 트리거되고 오탐이 없도록 하세요.