softmax

一种将实数向量转换为总和为1的概率分布的函数,用于计算下一词元概率和注意力权重。

1篇文章最近提及

softmax是将实数向量转换为总和为1的概率分布的函数。它对每个值取指数后除以总和,值越大所得概率越高。

在语言模型中,它将最后一层的logit转换为整个词表上的下一词元概率;在注意力中,它将query与key的得分归一化为权重。temperature是送入softmax前用于除以logit的值,用来调节分布的尖锐程度。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 智能体开发者必懂的模型内部机制:采样、注意力与上下文工程AI应用 ·

    温度是在 softmax 将原始 logits 重新归一化为总和为一之前,对其施加的一个除数。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。