分布式表示

distributed representation

神经网络中以多个单元的激活模式来表示一个概念的信息表示方式。

1篇文章最近提及

分布式表示是神经网络中的一种信息表示方式:每个概念由多个单元的激活模式共同表示,而每个单元也参与多个概念的表示。它与为每个概念分配一个专用单元的局部表示相对。

这一方式由杰弗里·辛顿等并行分布式处理(PDP)研究小组在1980年代提出并倡导,其优点包括用较少的单元表示大量概念、部分单元受损时表示不会完全消失,以及相似概念具有相似模式从而有利于泛化。将词语表示为实数向量的词嵌入是典型例子,现代深度学习模型的内部表示大多属于分布式表示。另一方面,仅观察单个单元难以读出其含义,因此它也被视为造成可解释性困难的因素之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 神经网络内部并非混沌:约90%神经元各司其职AI安全 ·

    分布式表示由杰弗里·辛顿倡导,把每个概念分散到许多神经元的活动模式之中。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。