LangSmith Engine으로 에이전트의 이슈 찾기 및 수정

LangSmith Engine을 사용해 추적 프로젝트에서 반복되는 이슈를 자동으로 감지하고 해결해요.

LangSmith Engine은 트레이스를 수동으로 검색하지 않고도 더 안정적인 에이전트를 출시하도록 도와줘요. 에이전트 엔지니어링을 위한 LangSmith 에이전트로, 프로덕션 트레이스에서 작업하여 반복되는 이슈를 표면화하고, 근본 원인을 진단하며, 개발 수명 주기의 모든 단계에 걸쳐 수정을 추진해요. 제품 개요는 Engine을 참고하세요.

출처: 문서

본문

Engine 작동 방식

각 이슈는 Engine이 다음을 수행하는 폐쇄 루프를 거쳐요:

트레이스에서 반복되는 이슈를 감지합니다.
트레이스와 연결된 소스 코드에 대해 근본 원인을 진단합니다.
풀 리퀘스트로 수정 사항을 제안합니다.
이슈를 시간에 따라 추적하며, 같은 패턴과 일치하는 새 트레이스를 자동으로 추가하고, 수정 사항을 검증할 수 있도록 ground truth 데이터셋 예시를 생성합니다.
닫힌 후 같은 문제가 다시 나타나면 자동으로 이슈를 다시 엽니다.

%%{init: {"themeVariables": {"lineColor": "#40668D", "primaryColor": "#E5F4FF", "primaryTextColor": "#030710", "primaryBorderColor": "#006DDD"}}}%%
flowchart LR
    detect["Detect recurring issue"]:::trigger --> diagnose["Diagnose root cause"]:::process
    diagnose --> fix["Propose fix as PR"]:::process
    fix --> prevent["Track matching traces and generate dataset examples"]:::output
    prevent --> close["Close issue"]:::decision
    close -->|"resurfaces"| detect

    classDef trigger fill:#F6FFDB,stroke:#6E8900,stroke-width:2px,color:#2E3900
    classDef process fill:#E5F4FF,stroke:#006DDD,stroke-width:2px,color:#030710
    classDef output fill:#EBD0F0,stroke:#885270,stroke-width:2px,color:#441E33
    classDef decision fill:#FDF3FF,stroke:#7E65AE,stroke-width:2px,color:#504B5F

이 페이지는 Engine을 설정하고, 수정 및 평가 루프를 진행하고, 비용을 통제하고, 알림을 라우팅하는 방법을 다뤄요.

Engine이 트레이스를 샘플링하고 우선순위를 매기는 방법

Engine은 각 스캔의 트레이스를 선택하고 순위를 매길 때 트레이스 콘텐츠와 런 피드백을 모두 분석해요. 온라인 평가자 점수, 주석 대기열 점수, SDK로 제출된 사용자 피드백을 포함한 피드백을 보조 데이터가 아닌 우선순위가 높은 신호로 취급해요.

이 신호를 적용하기 위해 Engine은:

프로젝트에 존재하는 피드백 키를 읽고 각 키에 대해 낮은 점수의 트레이스를 전용으로 당겨와서, 샘플이 최근성에 맡기지 않고 평가자 점수가 낮은 트레이스를 포함하도록 해요.
샘플을 심사할 때 비어 있지 않은 피드백 점수가 있는 트레이스를 다른 트레이스보다 먼저 우선순위를 매겨요.
트레이스 페이로드가 컨텍스트 제한에 맞게 압축되더라도 분석 컨텍스트의 모든 트레이스에 피드백 점수를 보존해요.

런에 피드백을 쓰는 모든 소스가 이 우선순위 지정에 자동으로 기여해요. Engine은 평가자나 주석 대기열 이상의 추가 설정이 필요 없어요.

Engine 설정

Engine 설정은 두 단계 프로세스예요: 조직 관리자가 먼저 워크스페이스에 Engine을 활성화한 다음, 모든 사용자가 각 추적 프로젝트에 Engine을 구성할 수 있어요.

셀프 호스팅 LangSmith에서는 운영자가 두 단계 중 하나를 사용할 수 있게 하기 전에 LangSmith Helm 차트에서 Engine을 활성화해야 해요. 셀프 호스팅의 Engine을 참고하세요.

조직에 Engine 활성화

Engine을 활성화하려면 조직 관리자여야 해요. 관리자를 찾으려면 Settings를 열고 Access and Security 아래의 Members를 선택한 후 Organization Admin 역할의 구성원을 찾으세요.

Engine 활성화 열기: LangSmith 콘솔에서 왼쪽 하단의 Settings를 클릭한 다음, Engine 아래의 Engine enablement를 선택하세요.
Enable Engine 토글: Enable Engine을 켜고 AI 기능 이용 약관에 동의하세요. 대화상자는 다음 제품 내 공지를 그대로 표시해요:

LangSmith AI features, powered by LangChain-managed inference, bring intelligence to your observability workflow. With LangSmith AI enabled, your team can surface issues faster, run smarter evaluations, and build more reliable LLM applications. By enabling this feature, your organization's trace data will be processed using LangChain-managed LLM keys. Subject to our Terms of Service.

Engine이 활성화되면 조직의 모든 팀 구성원이 추적 프로젝트에 설정할 수 있어요.

Engine을 끄고 싶다면 같은 설정을 꺼세요. 이렇게 하면 Engine의 모든 자동 실행이 중지되고 계정에서 향후 청구도 중단돼요.

LCU 비용 이해

Engine은 **LangChain Compute Units(LCU)**로 청구돼요. LCU는 컴퓨팅, 스토리지, 메모리, LLM 지출을 결합한 정규화된 작업 단위예요. LCU 소비는 분석된 트레이스 수, Engine이 이슈를 진단하고 수정하기 위해 만드는 LLM 호출의 수와 복잡성, 연결된 저장소의 크기에 따라 증가해요. LCU는 개당 \$1.50 USD예요. 예상 LCU 사용량에 대한 견적은 LangSmith Usage Calculator를 참고하세요.

Engine은 두 단계로 실행돼요:

단계	트리거	일반적인 LCU 사용량
초기화	프로젝트에서 Engine을 처음 활성화할 때	30-40 LCUs
주기적 스캔	자동, 동적 일정에 따라	10-15 LCUs

초기화 시 Engine은 과거 트레이스를 감사하고, 심각도별로 이슈를 클러스터링하고 우선순위를 매기며, (저장소가 연결된 경우) 프롬프트나 코드에 대한 수정을 제안해요. 주기적 스캔은 새 이슈가 발견되는지 여부와 관계없이 비용과 성능의 균형을 맞춘 동적 일정으로 실행되며, 이전에 감지되지 않았던 새 이슈를 표면화해요.

지출 한도 설정 및 사용량 모니터링

조직 관리자는 두 수준에서 지출 한도를 설정할 수 있어요:

조직 전체 한도: Settings를 열고 Engine 아래의 Engine enablement를 선택한 다음 Monthly LCU spend limit 아래에 값을 입력하세요.
프로젝트별 한도: 추적 프로젝트에서 Engine 탭을 열고 Engine Settings 아이콘을 클릭한 다음 Monthly LCU spend limit 아래에 한도를 설정하세요.

한도를 LCU 또는 USD(1 LCU = \$1.50)로 입력할 수 있어요. 한도에 도달하면 LangSmith는 한도가 올라가거나 다음 월별 청구 기간이 시작될 때까지 새 Engine 런을 일시 중지해요.

두 수준의 기본값은 다릅니다:

조직 전체 한도: Default, No limit 또는 커스텀 상한을 선택하세요. 관리자가 선택하기 전까지는 기본값이 적용돼요(월 500 LCU, 약 \$750). 따라서 누구도 한도를 설정하지 않았더라도 Engine 지출이 상한으로 제한돼요. Engine enablement 페이지는 적용되는 한도와 그 소스를 알려줘요.
프로젝트별 한도: 필드를 비워 두면 한도가 없어요. 이전에 설정한 상한을 지우려면 Remove limit을 사용하세요.

Engine을 완전히 중지하려면 Settings > Engine enablement의 Enable Engine 토글을 사용하세요.

사용량을 모니터링하려면 Settings의 Engine enablement 페이지에서 조직의 월별 LCU 지출을 보거나, 각 추적 프로젝트의 Engine Settings 패널에서 프로젝트별 지출을 볼 수 있어요.

추적 프로젝트에 Engine 설정

Engine을 열고 프로젝트 선택: LangSmith 콘솔에서 UI 사이드바의 Engine을 선택하세요. 프로젝트 선택기는 이미 구성된 프로젝트를 나열해요. 나열되지 않은 프로젝트를 설정하려면 + Set up another project를 클릭한 다음 Choose a project to analyze 아래에서 선택하세요. 추적 프로젝트의 Engine 탭도 사용할 수 있어요.
코드 저장소 연결 (선택): 선택 사항이지만 코드 저장소 연결을 권장해요. Engine은 소스 코드를 읽어 실패 트레이스 뒤의 코드 경로를 찾고, 제안된 수정 사항을 실제 구현에 근거하며, 이슈에서 직접 풀 리퀘스트를 열어요. Connect your agent's code repository 아래의 GitHub Repository 필드에서 저장소를 선택하세요. GitHub 앱이 접근할 수 있는 저장소만 표시돼요. 권한을 업데이트하려면 **Manage app access →**를 클릭하세요. GitHub App 설정 및 조직 승인은 Engine을 GitHub에 연결을 참고하세요. Engine에 추가 프로젝트 컨텍스트를 제공하려면 Context Hub repository 필드에서 저장소를 선택하세요. 언제든지 Engine Settings 패널에서 두 저장소를 모두 업데이트할 수 있어요.
선호 범주 선택 (선택): What matters most to you? 아래에서 검토에 우선순위를 둘 범주(예: Tool Call Failures 또는 Latency)를 선택하세요. 커스텀 관심사를 설명하려면 + Add something specific을 클릭하세요. 언제든지 Engine Settings 패널에서 Preferences를 업데이트할 수 있어요.
특정 트레이스에 초점 (선택): Focus on specific traces 아래에서 런 이름이나 메타데이터로 Engine의 주의를 하위 집합으로 좁히세요. 모두 분석하려면 비워 두세요. 언제든지 Engine Settings 패널에서 범위를 업데이트할 수 있어요. 자세한 내용은 특정 트레이스에 초점을 참고하세요.
분석 시작: Start Analyzing을 클릭하세요. 대화상자는 프로젝트 사용량에 따른 예상 월별 비용 범위를 보여줄 수 있어요. Engine은 프로젝트의 트레이스를 분석하고 제안을 시작하는 데 최대 20분이 걸릴 수 있어요. 기다리는 동안 설정 패널에서 알림 설정을 해서 다른 우선순위 수준의 이슈가 발견될 때 Slack이나 웹훅으로 알림을 받을 수 있어요.
에이전트 개요 문서 검토: 이슈를 표면화하기 전에 Engine은 트레이스를 기반으로 프로젝트의 목적, 아키텍처, 주요 지표를 설명하는 에이전트 개요 문서를 생성해요. 문서를 검토하고 편집한 다음 Accept & Continue를 클릭해 진행하세요. 개요가 부정확하면 계속하기 전에 편집하세요. Engine이 모든 분석의 컨텍스트로 사용하므로, 여기의 정확성은 감지된 이슈의 품질에 영향을 미쳐요. 언제든지 Engine Settings 패널에서 업데이트할 수 있어요.

특정 트레이스에 초점

분석을 정밀하게 유지하고 낭비되는 LCU 지출을 줄이기 위해 중요한 트레이스에 Engine을 집중시키세요. 프로젝트가 여러 에이전트나 워크로드를 혼합하고 Engine이 그 중 일부만 분석하게 하려면 트레이스 범위(Focus on specific traces 컨트롤)를 사용하세요. 예를 들어 프로젝트가 프로덕션 챗봇과 야간 배치 작업을 모두 실행한다면, Run Name is chatbot으로 범위를 지정해 Engine이 배치 런을 무시하게 하세요. 기본적으로 Engine은 프로젝트의 모든 트레이스를 분석해요.

두 곳 중 한 곳에서 같은 컨트롤을 사용해 범위를 설정하세요:

Engine 설정: Find and fix your agent's issues 패널의 Focus on specific traces 아래.
Engine Settings: Engine Settings 패널의 Focus on specific traces 섹션. 여기서 편집하면 자동 저장돼요.

필터 편집기로 범위 조건을 추가하세요. 각 종류의 조건을 하나씩, 최대 두 개 추가할 수 있어요:

Run Name: 런 또는 에이전트 이름을 선택하세요. 값 필드는 프로젝트의 최근 트레이스에 있는 런 이름에서 자동 완성돼요.
Metadata: 메타데이터 키를 선택한 다음 값을 선택하세요. 둘 다 프로젝트의 최근 런에 있는 메타데이터에서 자동 완성돼요.

조건을 추가하려면 필드 선택기에서 종류를 선택하고 값을 채운 다음 Add를 클릭하세요. 각 조건은 Run Name is chatbot 또는 env is prod 같은 칩으로 나타나요. 칩의 **×**를 클릭하면 해당 조건이 제거돼요.

범위 제한: 범위 필터는 런 이름과 메타데이터 조건만 허용해요. 피드백 키, 평가자 이름 또는 점수 임계값으로 Engine의 스캔 범위를 지정할 수 없어요. 특정 평가자의 낮은 점수가 있는 트레이스에 Engine을 집중시키려면 Preferences 및 Agent overview 설정을 사용해 Engine에 무엇을 우선순위로 둘지 알려주세요. Engine은 모든 피드백 신호를 이미 자동으로 고려해요. Engine이 트레이스를 샘플링하고 우선순위를 매기는 방법을 참고하세요.

범위는 Engine이 이슈를 감지하고 에이전트 개요 문서를 구축하기 위해 분석하는 트레이스를 결정해요. 초기 설정 중 설정된 범위는 Engine의 첫 스캔에 적용돼요. Engine Settings 패널에서 나중에 변경된 범위는 즉시 Engine을 다시 실행하지 않고 다음 스캔에 적용돼요.

이슈 탐색 및 필터링

설정이 완료되면 Engine 페이지가 왼쪽 패널에 자동 감지된 이슈 목록을 표시해요. 각 항목은 제목, 짧은 설명, 기여 트레이스 수, 이슈가 관찰된 최근성을 보여줘요. 각 이슈는 Silent tool error 또는 Hallucination 같은 실패 범주로 태그가 지정돼요. Engine이 할당하는 전체 범주 목록(설명 및 감지 방법 포함)은 Engine 이슈 범주를 참고하세요.

목록 상단에서 다음을 클릭할 수 있어요:

Filter issues 아이콘으로 Priority, Status, Tags로 필터링.
Sort issues 아이콘으로 Severity, Last Updated, Created로 정렬.
Configure Engine으로 Engine 구성.

아무 이슈나 클릭하면 오른쪽 패널에 세부 정보가 표시돼요.

LangSmith Chat을 열어 이슈 전반에 걸친 질문을 하세요. 예: 어떤 이슈가 가장 주의가 필요한지, 얼마나 많은 새 이슈가 열려 있는지.

설정 완료 후 이슈가 나타나지 않으면 Engine이 분석된 트레이스에서 반복되는 패턴을 찾지 못한 거예요. 트레이스가 더 수집된 후 다시 확인해 보세요.

이슈 검토

목록의 아무 이슈나 클릭해 세부 패널을 여세요. 상단의 진단이 문제와 그 영향을 설명해요.

Evidence 섹션에는 진단을 뒷받침하는 트레이스가 있으며, 각 트레이스의 스니펫이 포함돼요. 이 섹션에서 다음을 할 수 있어요:

트레이스 보기: View trace를 클릭해 증거 트레이스를 여세요. Engine이 이슈를 일으킨 하위 런을 식별하면 정확히 해당 런이 열려요. 트레이스 뷰에는 Engine 이슈로 돌아가는 View issue 링크가 포함돼요.
오프라인 예시 만들기: Add offline examples를 클릭해 프로덕션 트레이스 입력에서 오프라인 평가용 커스텀 ground truth 데이터셋 예시를 생성하세요.
프로젝트 증거 보기: View all in project를 클릭해 추적 프로젝트에서 증거를 보세요.

자세한 내용은 트레이스 관리를 참고하세요.

Engine은 이슈가 등록된 후에도 계속 추적해요. 이후 스캔에서 이슈의 실패 패턴과 일치하는 새 트레이스가 Evidence에 자동으로 추가되므로, 이슈는 아무것도 다시 실행하지 않아도 실패가 얼마나 자주 계속 발생하는지 반영해요.

Proposed Fix 섹션은 이슈를 설명하고 해결 방법을 제안하며, 저장소가 연결된 경우 특정 코드 또는 프롬프트 변경을 포함할 수 있어요.

이슈에 대한 조치

각 이슈에는 풀 리퀘스트를 열거나 보기, Linear 이슈 만들기, 이슈 관찰(watch), 닫기(해결 또는 잘못 표시), 우선순위 설정을 위한 툴바가 있어요.

우선순위 변경

우선순위 드롭다운에서 Low, Medium 또는 High를 선택해 이슈의 우선순위를 업데이트하세요. 선택적으로 이유를 제공할 수 있으며, 이는 Engine에 피드백되어 시간이 지남에 따라 분석을 개선하는 데 도움이 돼요.

풀 리퀘스트 열기 또는 보기

Open PR을 클릭해 연결된 저장소에 제안된 코드 변경이 포함된 GitHub 풀 리퀘스트를 여세요. 아직 안 했다면 먼저 저장소를 연결하세요. 풀 리퀘스트가 존재하면 Engine은 Open PR을 **View PR #<number>**로 바꿔요. **View PR #<number>**를 클릭해 GitHub에서 풀 리퀘스트를 여세요. Engine은 이슈 전반에 걸쳐 PR의 상태(open, merged, closed)를 반영해요. LLM이나 코딩 어시스턴트와 함께 사용할 수 있도록 이슈의 수정 컨텍스트를 클립보드에 복사할 수도 있어요. Engine은 Deep Agents, LangChain, LangGraph로 만든 에이전트를 포함한 모든 연결된 저장소에 코드 변경을 제안할 수 있어요.

Linear 이슈 만들기

Linear 이슈를 만들기 전에 Configure Engine에서 Linear 연결을 구성하세요. Linear 아래에서 Connect를 클릭하고, 팀을 선택하고, 선택적으로 프로젝트를 선택한 후 Save changes를 클릭하세요.

이슈를 만들려면 Engine 이슈에서 Create in Linear를 클릭하세요. Engine은 이슈를 만드는 동안 Linear creation pending을 표시해요. 생성이 완료되면 Engine은 연결된 Linear 이슈 식별자를 Engine 이슈와 이슈 목록에 표시해요.

Linear 이슈에는 Engine 이슈 제목과 설명, 심각도, 범주, 태그, View issue in LangSmith 링크, 증거 트레이스 ID가 포함돼요. Engine은 Linear 이슈에 대한 링크를 유지해요. Linear 티켓을 닫으면 Engine은 해당 이슈를 닫아요. Linear 티켓을 취소하면 Engine은 해당 이슈를 잘못 표시된 것으로 표시해요. Engine은 해당 Engine 이슈에서 Linear 티켓에 연결된 풀 리퀘스트도 추적해요.

오프라인 예시 추가

이 단계는 이슈를 표면화한 트레이스를 ground truth 데이터셋 예시로 캡처해서, 수정 사항이 프로덕션에 도달하기 전에 오프라인으로 평가할 수 있게 해요. 페이지 아래쪽 Evidence 섹션에서도 시작할 수 있어요.

Evidence 목록 오른쪽 상단의 Add offline examples을 클릭해 Add as offline example 대화상자를 여세요.
각 트레이스를 검토하세요. 대화상자는 입력, 에이전트가 만든 잘못된 출력, 제안된 예상 출력을 커스텀 ground truth 예시로 보여줘요.
직접 추가하려면 Add to Dataset을 클릭하거나, 먼저 검토하려면 Edit in annotation queue을 클릭하세요.
주석 대기열에서 각 예시는 런 입력과 함께 Engine이 제안한 참조 출력을 보여주며, 트레이스 분석에서 생성된 명명된 assertions로 구조화돼요. 각 assertion은 올바른 답변이 무엇을 포함해야 하거나 포함하지 말아야 하는지 설명하는 짧은 주장이에요. 필요에 따라 assertion을 편집하고 + Add assertion으로 새 것으로 추가한 다음 Add to Dataset & Continue를 클릭해 각 예시를 처리하세요.

자세한 내용은 데이터셋 관리, 주석 대기열 사용, assertions 사용을 참고하세요.

관찰: 이슈를 계속 주시

관찰(watch)은 이슈를 해결하거나 잘못 표시하지 않고 모니터링을 위해 열어 두는 것이에요. 이슈를 고칠 준비가 되지 않았지만 계속 발생하는지 알고 싶을 때 Watch를 클릭하세요.

관찰 중인 이슈가 다시 발생할 때 알림을 받으려면 Alert me via Slack을 클릭하세요. 그러면 Engine Settings 패널의 Notifications 섹션이 열려요.

새 트레이스가 관찰 중인 이슈에 연결되면 Engine은 목록 상단으로 이동시키고 도착한 새 트레이스 수를 보여주므로, 수정을 시작하거나 계속 관찰할 수 있어요.

관찰은 진행 중인 풀 리퀘스트가 없는 열린 이슈에만 사용할 수 있어요. 다시 관찰하려면 수정을 폐기하세요. 관찰 중인 이슈를 해결하거나 잘못 표시하면 자동으로 관찰이 중지돼요.

이슈 닫기 또는 다시 열기

닫기는 검토 결과를 기록해요. 클릭하세요:

Close로 이슈를 해결된 것으로 표시.
Incorrectly Flagged로 이슈를 실제가 아니거나 수정할 가치가 없는 것으로 기각.

두 경우 모두 선택적으로 이유를 제공할 수 있으며, 이는 Engine의 분석에 피드백돼요.

언제든지 닫힌 이슈를 다시 열 수 있어요. Reopen을 클릭해 진행 중인 수정을 지우고, 관찰 중이었다면 이슈 관찰을 중지하세요. Engine은 이후 트레이스에서 같은 문제가 반복되는 것을 감지하면 이슈를 자동으로 다시 열기도 해요.

CLI로 이슈 나열

LangSmith CLI를 사용해 이슈를 프로그래밍 방식으로 나열할 수 있어요.

# List issues for a project
langsmith project issues list --project <project-name>

새 이슈에 대한 알림 받기

Engine은 새 이슈를 열거나, 새 트레이스를 기존 이슈에 연결하거나, 런을 완료하지 못했을 때 알릴 수 있어요. 이 알림을 Slack 채널, HTTP 웹훅 엔드포인트 또는 둘 다로 전달하세요. 각 대상에는 자체 이벤트 유형과 최소 우선순위 수준이 있어 긴급 이슈를 페이징 웹훅으로 라우팅하면서 모든 이슈를 Slack 채널로 보낼 수 있어요.

Engine Settings 패널에서 알림 대상을 관리하세요: Engine 페이지에서 Configure Engine을 클릭한 다음, Notifications 아래에서 + Add destination을 클릭하세요.

Slack 채널에 알림

Slack 워크스페이스 연결: Slack 워크스페이스 연결은 프로젝트별이 아닌 한 번 수행하는 조직 수준 작업이에요. 워크스페이스 연결 또는 해제에는 organization:manage 권한이 필요해요. LangSmith 콘솔에서 Settings를 열고 조직의 General 설정으로 가서 Slack 아래의 Connect Slack을 클릭하세요. Slack에서 LangSmith 앱을 승인하세요. 조직에 둘 이상의 Slack 워크스페이스를 연결할 수 있어요.
Slack 대상 추가: Engine 페이지에서 Configure Engine을 클릭한 다음 Add destination을 클릭하세요. Deliver to 필드를 Slack으로 설정하고 Channel 아래에서 워크스페이스와 채널을 선택하세요.
이벤트와 우선순위 선택: Notify when 아래에서 채널에 메시지를 게시할 이벤트 유형을 선택하세요. Minimum priority 아래에서 알림을 트리거하는 가장 낮은 심각도를 선택하세요. 저장하려면 Add destination을 클릭하세요.

LangSmith는 선택한 공개 채널에 자동으로 참여해요. 비공개 채널에 게시하려면 먼저 Slack에서 LangSmith 앱을 그 채널에 초대하세요.

각 Slack 메시지에는 이슈 제목, 설명, 심각도, LangSmith로 돌아가는 View issue 링크, 그리고 (이슈 이벤트의 경우) 시간에 따른 이슈 반복 차트가 포함돼요. 워크스페이스의 연결이 유효하지 않게 되면(예: 앱이 Slack에서 제거됨) 해당 대상은 조직의 General 설정에서 다시 연결할 때까지 전달을 중지해요.

웹훅으로 보내기

Engine 이벤트를 자체 인시던트 관리, 페이징 또는 채팅 도구로 전달하려면 대상을 추가하고 Deliver to 필드를 Webhook으로 설정하세요. URL과 선택적으로 커스텀 헤더를 입력하세요. 웹훅 전달은 서명되어 진위를 검증할 수 있어요. 전체 이벤트 페이로드 참조, 서명 시크릿 검증, 전달 의미론은 Engine 웹훅 이벤트를 참고하세요.

Engine 구성

Engine은 LangChain 관리 추론만 사용해요. BYOK(자체 키 가져오기)는 지원되지 않아요. Engine에 자체 프로바이더 API 키를 제공할 수 없어요.

Engine 페이지에서 Configure Engine을 클릭해 Edit Engine Settings 패널을 여세요. 여기에서 다음을 구성할 수 있어요:

Agent overview: 에이전트 개요 문서를 편집해 애플리케이션이 진화함에 따라 Engine의 프로젝트 이해를 정확하게 유지하세요.
Preferences: Engine이 집중, 우선순위 지정 또는 무시해야 할 영역. Engine은 이를 권위 있는 것으로 취급하고 다음 스캔에서 에이전트 개요 문서에 통합해요. Cost & Tokens, Latency, Tool Call Failures 같은 범주 칩을 선택하거나, + Add something specific을 클릭해 커스텀 관심사를 설명하세요. 변경 사항은 다음 스캔에 적용돼요.
Engine spend: 이 프로젝트의 월 누계 Engine LCU 지출을 보세요. Set limit을 클릭해 월별 지출을 상한으로 제한하세요. 월별 한도에 도달하면 새 런이 일시 중지돼요.
Analysis level: Standard 또는 Reduced를 선택하세요. Reduced를 사용하면 Engine이 더 적은 트레이스를 더 낮은 비용으로 검토해요.
Focus on specific traces: 런 이름이나 메타데이터로 Engine의 주의를 하위 집합으로 좁히세요. 편집은 자동 저장되고 다음 스캔에 적용돼요. 범위 조건은 런 이름과 메타데이터만 허용하며, 피드백 키나 점수로 필터링할 수 없어요. 특정 트레이스에 초점을 참고하세요.
Notifications: Add destination을 클릭해 Engine이 새 이슈를 감지할 때 알림을 받는 Slack 채널 또는 웹훅 대상을 추가하세요. 대상별 최소 우선순위 수준을 설정해 어떤 이슈가 알림을 트리거할지 제어하세요. 새 이슈에 대한 알림 받기를 참고하세요.
Code repository: GitHub 저장소를 연결하거나 업데이트해 에이전트가 이슈 진단 시 소스 코드를 참조할 수 있게 하세요. 선택적으로 Subfolder와 Branch(기본값은 저장소 기본 브랜치)를 설정하세요. 설정은 Engine을 GitHub에 연결을 참고하세요.
Context repository: Context Hub 저장소를 연결해 Engine이 지시문, 문서, 연결된 스킬에 대한 수정을 제안하게 하세요.
Linear: Linear를 연결한 다음 새 이슈용 팀과 선택적 프로젝트를 선택하세요. Engine은 만든 이슈에 영구 링크를 유지하지만, Linear의 이후 편집은 동기화하지 않아요. 모든 Engine 이슈를 삭제해도 기존 Linear 티켓은 삭제되지 않아요. Linear 이슈 만들기를 참고하세요.
Pause: Engine은 비용과 성능의 균형을 맞춘 동적 일정으로 트레이스를 스캔해요. Pause를 클릭해 기존 이슈를 삭제하지 않고 스캔을 중지하거나, Resume을 클릭해 스캔을 재개하세요.
Delete all issues: 이 작업은 되돌릴 수 없어요. 모든 이슈와 설정이 영구적으로 제거돼요.

더 알아보기

Engine: 제품 개요 및 Engine이 개발 수명 주기에서 어디에 들어맞는지.
Engine을 GitHub에 연결: LangSmith Cloud에서 저장소를 연결하거나, 셀프 호스팅 배포를 위해 자체 GitHub App을 만들고 구성.
Engine 이슈 범주: Engine이 감지된 이슈에 할당하는 실패 범주에 대한 참조.
Engine 웹훅 이벤트: 이벤트 페이로드 참조, 서명 시크릿 검증, 전달 의미론.
셀프 호스팅의 Engine: 셀프 호스팅 아키텍처 및 데이터 처리.
데이터셋 관리, 주석 대기열 사용, assertions 사용: Engine이 생성하는 오프라인 예시 작업.
LangSmith CLI: 이슈를 프로그래밍 방식으로 나열하고 관리.

LangSmith Engine으로 에이전트의 이슈 찾기 및 수정