激活值是神经网络中的神经元对输入的加权和应用激活函数后输出的数值。某一层所有神经元的激活值共同表示该层对输入的表征,并作为下一层的输入。
ReLU、sigmoid、GELU等激活函数执行非线性变换,使神经网络能够逼近复杂函数。在可解释性研究中,研究者分析神经元在特定输入上的激活强度和模式,以推断该神经元检测的是何种特征。
activation
神经网络中的神经元针对输入所产生的输出值,反映模型的内部状态。
激活值是神经网络中的神经元对输入的加权和应用激活函数后输出的数值。某一层所有神经元的激活值共同表示该层对输入的表征,并作为下一层的输入。
ReLU、sigmoid、GELU等激活函数执行非线性变换,使神经网络能够逼近复杂函数。在可解释性研究中,研究者分析神经元在特定输入上的激活强度和模式,以推断该神经元检测的是何种特征。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
随着网络越来越大,没人能说清任何一个激活值意味着什么,"黑箱"的名声就此形成。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。