解釈可能性とは、AIモデルがどのような根拠と過程で出力を生み出しているかを人間が理解できる度合いを指し、それを高める手法を研究する分野も意味する。モデルの判断を事後的に説明する説明可能AI(XAI)と重なる概念である。
ニューラルネットワークは膨大なパラメータと分散表現で構成されており、内部の動作を直接読み取ることが難しい。そのため、入力のどの部分が出力に影響したかを調べる特徴帰属、内部表現に含まれる情報を調べるプロービング、内部の回路を部品単位で分析するメカニスティック・インタープリタビリティなど、さまざまな手法が研究されている。AI安全性の分野では、モデルの意図しない挙動を内部から検知し修正するための基盤技術とみなされている。