分散表現

distributed representation

一つの概念を多数のユニットにまたがる活性パターンで表すニューラルネットワークの情報表現方式。

記事1本最終言及

分散表現は、一つの概念を多数のユニットにまたがる活性パターンで表し、各ユニットが複数の概念の表現に関与するニューラルネットワークの情報表現方式である。概念ごとに専用のユニットを一つ割り当てる局所表現と対比される。

1980年代にジェフリー・ヒントンらの並列分散処理(PDP)研究グループが提唱した。少数のユニットで多数の概念を表現でき、一部のユニットが損なわれても表現が完全には失われず、似た概念が似たパターンを持つため汎化に有利であるといった利点がある。単語を実数ベクトルで表す単語埋め込みが代表例で、現代のディープラーニングモデルの内部表現は大部分が分散表現である。一方で、ユニット一つを見ただけでは意味が分かりにくく、解釈可能性を難しくする要因ともされる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 「ニューラルネットワークはすでに整然」説、ニューロンの9割が単一の役割かAIセキュリティ ·

    分散表現は、ジェフリー・ヒントン氏が提唱したもので、各概念を多数のニューロンにまたがる活動パターンとして広げます。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。