Captum — PyTorch 모델 해석 라이브러리
Captum — PyTorch 모델 해석 라이브러리
Captum 은 PyTorch 모델의 해석 가능성을 위한 오픈소스 연구용 라이브러리예요. 비전·텍스트 등 다양한 모달리티와 대부분의 PyTorch 모델을 최소한의 수정으로 지원해요.
핵심 기능
- Integrated Gradients: 기준(baseline)에서 입력까지 경로를 따라 적분해 속성값을 계산해요.
- 다양한 속성 알고리즘: Gradient, Layer, Neuron 속성 등 여러 해석 방법을 제공해요.
- 확장성: 새 해석 알고리즘을 구현·벤치마크하기 쉽게 설계됐어요.
ig = IntegratedGradients(model)
attributions, delta = ig.attribute(input, baseline, target=0, return_convergence_delta=True)
pip install captum 으로 설치할 수 있어요.