Captum · Model Interpretability for PyTorch

Captum은 방법을 기울기 기반과 교란 기반 두 갈래로 나눈다. 기울기 계열에는 Saliency, InputXGradient, IntegratedGradients, DeepLift, GradientShap, GuidedBackprop, Guided GradCam이 있고, 교란 계열에는 FeatureAblation, Occlusion, ShapleyValueSampling, Lime이 있다. 두 갈래를 한곳에 모아 두면 결과를 교차 확인할 수 있다. 기울기 기법과 교란 기법이 같은 픽셀을 가리키면 특성 귀인의 신뢰가 올라간다. 모델 디버깅 자리에도 느낌이 아니라 구체적인 설명을 들고 갈 수 있다는 뜻이다.

특성 귀인은 모델이 어디를 봤는지 알려준다. 뉴런과 층 귀인은 그 일이 네트워크 어디에서 일어났는지 알려준다. LayerConductance, LayerIntegratedGradients, LayerLRP 그리고 대응하는 뉴런 버전은 지정한 층의 활성값을 평가한다. 망가진 예측을 구조상의 한 지점까지 거슬러 추적할 수 있다.

LLMAttribution과 LLMGradientAttribution은 기존 알고리즘을 Hugging Face 계열 언어모델의 토큰 시퀀스에 맞게 감싼 것이다. 생성된 답변에 프롬프트의 어떤 토큰이 영향을 줬는지 보여주고, 점수를 매기기 전에 토큰을 단어나 구로 묶을 수도 있다. LLM 귀인은 순전파 한 번보다 시간이 오래 걸리므로 추론 비용을 염두에 둬야 한다.

개념 모듈은 TCAV를 구현한다. 줄무늬나 털 같은 개념이 한 클래스에 중요한지, 활성값 위에서 작은 분류기를 학습해 확인하는 방식이다. 영향 모듈은 TracIn 같은 추정기를 더해 어떤 학습 샘플이 예측을 형성했는지 묻는다. 둘 다 연구 흐름에 맞춰져 있고 간단한 점검용은 아니다.

견고성 모듈은 FGSM, PGD, AttackComparator, MinParamPerturbation을 제공한다. 적대적 예제를 만들고, 공격을 나란히 비교하고, 레이블을 뒤집는 가장 작은 교란을 찾을 수 있다. 귀인과 함께 쓰면 자연스럽다. 기울기 점검과 공격 점검을 모두 통과한 특성이라면 주장의 무게가 더 실린다.

불충실도와 민감도 지표는 귀인 값 묶음이 얼마나 믿을 만한지 추정한다. 그럴듯해 보인다는 이유로 히트맵을 믿는 대신, 입력을 교란했을 때 설명이 모델과 얼마나 어긋나는지 수치로 재고 같은 샘플에서 알고리즘끼리 비교할 수 있다.