interpretability(해석 가능성)는 AI 모델이 어떤 근거와 과정으로 출력을 내는지 사람이 이해할 수 있는 정도를 뜻하며, 이를 높이는 방법을 연구하는 분야를 가리키기도 한다. 모델의 결정을 사후에 설명하는 explainable AI(XAI)와 겹치는 개념이다.
신경망은 수많은 parameter와 분산 표현으로 이루어져 내부 동작을 직접 읽기 어렵기 때문에, 입력의 어떤 부분이 출력에 영향을 미쳤는지 보는 feature attribution, 내부 표현에 담긴 정보를 조사하는 probing, 내부 회로를 부품 단위로 분석하는 mechanistic interpretability 등 다양한 방법이 연구된다. AI 안전 분야에서는 모델의 의도치 않은 행동을 내부에서 감지하고 수정하기 위한 기반 기술로 여겨진다.