多头潜在注意力(MLA)是一种将key和value压缩为低维潜在向量后存储的注意力变体,由DeepSeek于2024年在DeepSeek-V2中提出。推理时KV缓存只保留压缩后的向量,需要时再还原为key和value,因此比多头注意力大幅减少KV缓存内存。
它用于DeepSeek-V2、DeepSeek-V3、DeepSeek-R1等模型,并作为处理长上下文时提高内存效率的方法被其他模型采用。
Multi-Head Latent Attention
一种将key和value压缩为低维潜在向量以减少KV缓存内存的注意力变体。
多头潜在注意力(MLA)是一种将key和value压缩为低维潜在向量后存储的注意力变体,由DeepSeek于2024年在DeepSeek-V2中提出。推理时KV缓存只保留压缩后的向量,需要时再还原为key和value,因此比多头注意力大幅减少KV缓存内存。
它用于DeepSeek-V2、DeepSeek-V3、DeepSeek-R1等模型,并作为处理长上下文时提高内存效率的方法被其他模型采用。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。