LangSmith Engine

LangSmith Engine은 에이전트 엔지니어링을 위한 에이전트로, 개발 수명 주기 전반에 걸쳐 프로덕션 트레이스를 추적된 이슈, 수정, 데이터셋으로 전환해요.

LangSmith Engine은 에이전트 엔지니어링을 위한 LangSmith 에이전트예요. 프로덕션 트레이스에서 작업하면서 반복되는 이슈를 표면화하고, 근본 원인을 진단하며, 개발 수명 주기의 모든 단계에 걸쳐 수정을 추진해요.

각 이슈는 폐쇄 루프를 거처 이동해요: 트레이스에서 반복되는 이슈가 감지되고, 근본 원인이 진단되며, 수정이 제안되고, 동일한 패턴과 일치하는 새 트레이스가 도착하면서 이슈가 추적되고, 이슈가 종료된 후 다시 표면화되면 Engine이 자동으로 다시 엽니다.

출처: 문서

본문

수명 주기 전반의 Engine

각 이슈에 대해 Engine은 관련 트레이스를 표면화하고, 수정을 제안하며, 동일한 실패 패턴과 일치하는 새 트레이스를 첨부해 이슈를 최신 상태로 유지하고, 프로덕션 트레이스 입력에서 ground truth 데이터셋 예시를 만들어요.

Build: Pull request 열기 - : 연결된 저장소에서 pull request를 열어 제안된 수정을 적용해요. Engine은 Deep Agents, LangChain 및 LangGraph로 구축된 에이전트에 대한 코드 변경을 제안할 수 있어요.
Test: 데이터셋 생성 - : 오프라인 평가를 위해 프로덕션 트레이스에서 ground truth 데이터셋 예시를 만들어서 수정이 출시되기 전에 검증할 수 있어요.
Monitor: 반복되는 이슈 추적 - : 스케줄에 따라 추적 프로젝트를 스캔해 반복되는 이슈를 표면화, 우선순위화, 진단하고, 나타나는 새 일치 트레이스를 각 이슈에 추가해요.

Engine 작동 방식

Engine은 비용과 성능의 균형을 맞추도록 조정된 동적 스케줄로 각 연결된 추적 프로젝트를 스캔하고, 심각도별로 이슈를 클러스터링하고 우선순위를 매겨요. LangChain이 관리하는 추론을 사용하며 LangChain Compute Units(LCUs)로 과금돼요. 감지된 각 이슈는 Silent tool error이나 Hallucination 같은 이슈 범주로 태그가 지정돼요. 설정, 비용, 전체 이슈 워크플로는 에이전트 이슈 찾기 및 수정을 참고하세요. Engine이 데이터를 처리하는 방식, GitHub 및 모델 하위 처리자 제어, 컴플라이언스 태세는 Engine 보안을 참고하세요. 셀프 호스팅 배포에서 Engine이 실행되는 방식은 셀프 호스팅의 Engine을 참고하세요.

시작하기

Engine 설정 - : 조직에 Engine을 활성화하고 추적 프로젝트에 대해 구성해요.
Engine 이슈 범주 - : Engine이 감지된 이슈에 할당하는 실패 범주에 대한 설명과 감지 방법이 포함된 참조.
Engine 웹훅 이벤트 - : 감지된 이슈를 인시던트 관리, 페이징 또는 채팅 도구로 전달해요.

LangSmith Engine