softmax是将实数向量转换为总和为1的概率分布的函数。它对每个值取指数后除以总和,值越大所得概率越高。
在语言模型中,它将最后一层的logit转换为整个词表上的下一词元概率;在注意力中,它将query与key的得分归一化为权重。temperature是送入softmax前用于除以logit的值,用来调节分布的尖锐程度。
一种将实数向量转换为总和为1的概率分布的函数,用于计算下一词元概率和注意力权重。
softmax是将实数向量转换为总和为1的概率分布的函数。它对每个值取指数后除以总和,值越大所得概率越高。
在语言模型中,它将最后一层的logit转换为整个词表上的下一词元概率;在注意力中,它将query与key的得分归一化为权重。temperature是送入softmax前用于除以logit的值,用来调节分布的尖锐程度。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
温度是在 softmax 将原始 logits 重新归一化为总和为一之前,对其施加的一个除数。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。