多義性

polysemanticity

ニューラルネットワークの一つのニューロンが互いに無関係な複数の特徴に反応する現象。

記事1本最終言及

多義性(ポリセマンティシティ)は、ニューラルネットワークの一つのニューロンが、互いに無関係に見える複数の特徴や概念に同時に反応する現象である。一つの特徴にのみ反応するニューロンは単義的(モノセマンティック)と呼ばれる。

畳み込みネットワークや言語モデルのニューロンを分析した解釈可能性研究で広く観察されており、モデルが次元数より多くの特徴を重ねて格納する重ね合わせ(スーパーポジション)が主な原因として説明されている。ニューロン単位の解釈を難しくする要因であるため、内部表現を単義的な特徴に分解するスパースオートエンコーダなどの手法が研究されている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 「ニューラルネットワークはすでに整然」説、ニューロンの9割が単一の役割かAIセキュリティ ·

    多義性です。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。