MCP 서버
MCP 서버
MCP 서버를 연결해서 Confident AI가 에이전트가 그 도구들을 어떻게 사용하는지 평가할 수 있게 해요.
Model Context Protocol (MCP) 서버를 연결하면 사용 가능한 도구를 Confident AI가 알 수 있어요. 평가 중에 Confident AI는 이 도구 정의를 사용해 MCP 도구 호출을 식별하고, 에이전트의 동작에 대해 도구 관련 메트릭을 실행해요.
이 기능을 Confident AI 자체의 MCP 서버와 혼동하지 마세요. 이 페이지는 LLM 애플리케이션이 사용하는 MCP 서버를 연결해서, Confident AI가 애플리케이션이 그 도구들을 어떻게 사용하는지 평가할 수 있게 하는 내용이에요.
Connected MCP servers and their available tools
출처: 문서
본문
MCP 서버 연결 (Connect an MCP server)
프로젝트 설정 (Project Settings) → MCP 서버 (MCP Servers) 로 이동해서 Add server 를 클릭해요. 서버에 알아보기 쉬운 이름을 주고 지원하는 전송(transport)을 선택해요.
HTTP
원격 MCP 서버에는 HTTP 를 사용하고 엔드포인트 URL을 입력해요. 다음 방법으로 인증할 수 있어요:
- 헤더 (Headers) — JSON 객체로 정적 요청 헤더를 제공해요. 예:
Authorization헤더. - 클라이언트 자격 증명 (Client Credentials) — OAuth 2.0 클라이언트 ID, 클라이언트 시크릿, 그리고 선택적인 스코프를 제공해요.
인증 헤더와 클라이언트 시크릿은 민감한 자격 증명으로 취급해요. 평가용으로 의도된 스코프가 제한되고 폐지 가능한 자격 증명을 사용하고, 스크린샷이나 문서에 시크릿을 넣지 마세요.
STDIO
Confident AI가 로컬 MCP 서버 프로세스를 시작해야 할 때 STDIO 를 사용해요. 서버를 실행하는 데 필요한 실행 명령과 공백으로 구분된 인자를 입력해요.
명령과 패키지는 MCP 서버가 실행되는 환경에서 사용할 수 있어야 해요.
사용 가능한 도구 (Available tools)
서버가 연결되면 Confident AI는 서버가 노출하는 도구를 발견하고 표시해요. 서버의 도구 목록을 펼쳐서 예상한 이름과 정의가 동기화됐는지 확인해요.
서버의 도구를 변경했다면, 다음 평가를 실행하기 전에 서버를 다시 연결하거나 업데이트해서 사용 가능한 정의를 최신으로 유지해요.
평가에서 MCP 서버 사용하기 (Use an MCP server in evaluations)
데이터셋에서 평가를 시작할 때, 연결된 MCP 서버를 테스트 실행에 붙여요. Confident AI는 그 도구 정의를 사용해서:
- 일치하는 호출을 MCP 도구 호출로 인식해요.
- MCP Use 및 Argument Correctness 같은 메트릭으로 도구 선택과 인자 품질을 평가해요.
- 에이전트가 관찰한 도구 상호작용과 함께 사용 가능한 도구를 보여줘요.
전체 평가 워크플로우와 권장 메트릭은 Evaluate MCP Servers를 참고해요.