多义性

polysemanticity

神经网络中单个神经元同时对多个互不相关的特征作出反应的现象。

1篇文章最近提及

多义性指神经网络中的单个神经元同时对多个看似互不相关的特征或概念作出反应的现象。只对一个特征作出反应的神经元则称为单义神经元。

这一现象在分析卷积网络和语言模型神经元的可解释性研究中被广泛观察到,其主要成因被解释为模型将多于维度数的特征叠加存储的特征叠加现象。由于它使神经元层面的解释变得困难,研究者正在探索稀疏自编码器等将内部表示分解为单义特征的方法。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 神经网络内部并非混沌:约90%神经元各司其职AI安全 ·

    从上世纪80年代到2020年代,研究者在放大观察单个神经元时发现了更令人困惑的现象:多义性。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。