FlashMLA是中国AI公司DeepSeek开发的开源GPU内核库。它旨在于NVIDIA GPU上高效执行DeepSeek模型所采用的注意力机制MLA(Multi-head Latent Attention)的解码阶段,于2025年2月DeepSeek开源周期间首次发布。
它支持变长序列处理和分页KV缓存,是DeepSeek推理引擎DeepInfer所依赖的内核库之一。
FlashMLA是DeepSeek于2025年开源的面向Multi-head Latent Attention的高效GPU解码内核库。
FlashMLA是中国AI公司DeepSeek开发的开源GPU内核库。它旨在于NVIDIA GPU上高效执行DeepSeek模型所采用的注意力机制MLA(Multi-head Latent Attention)的解码阶段,于2025年2月DeepSeek开源周期间首次发布。
它支持变长序列处理和分页KV缓存,是DeepSeek推理引擎DeepInfer所依赖的内核库之一。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
FlashMLA:面向多头潜在注意力的GPU内核库
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。