解釈可能性

interpretability

AIモデルがどのような根拠と過程で出力を生むかを人間が理解できる度合い、およびそれを研究する分野。

記事4本最終言及

解釈可能性とは、AIモデルがどのような根拠と過程で出力を生み出しているかを人間が理解できる度合いを指し、それを高める手法を研究する分野も意味する。モデルの判断を事後的に説明する説明可能AI(XAI)と重なる概念である。

ニューラルネットワークは膨大なパラメータと分散表現で構成されており、内部の動作を直接読み取ることが難しい。そのため、入力のどの部分が出力に影響したかを調べる特徴帰属、内部表現に含まれる情報を調べるプロービング、内部の回路を部品単位で分析するメカニスティック・インタープリタビリティなど、さまざまな手法が研究されている。AI安全性の分野では、モデルの意図しない挙動を内部から検知し修正するための基盤技術とみなされている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • METRがAnthropicのAI研究開発を監査、進歩速度は約2倍に加速と結論AIニュース ·

    研究所が誓約した無制限の評価機関アクセスを実現するのか、能力開発と安全性の間の計算資源配分が独立して検証されるのか、モデルが重みを直接編集し始めた場合に解釈可能性がどう歩調を合わせるのか。

    記事を読む
  • METRがAI能力の伸びは2倍に加速と報告、証拠削除で透明性論争AIニュース ·

    モデルの内部計算を直接読み取ろうとする既存のメカニスティック解釈可能性ツールは、エージェントの真の動機を検出する上でほとんど効果を発揮しませんでした。

    記事を読む
  • 「ニューラルネットワークはすでに整然」説、ニューロンの9割が単一の役割かAIセキュリティ ·

    解釈可能性研究者のニック・カマラタ氏とそのチームが執筆した研究エッセイ「Neural Networks Are Already Clean」は、AI研究で数十年にわたり前提とされてきた考え方に真っ向から異を唱えています。

    記事を読む
  • タンパク質構造予測AIの次の課題、静止構造から動きの理解へAIヘルスケア ·

    コーリは解釈可能性を二つに分けます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。