FlashAttention

通过减少GPU内存读写来加速Transformer注意力计算并降低内存占用的精确注意力算法。

1篇文章最近提及

FlashAttention是一种将Transformer模型中的注意力计算按GPU内存层次结构重新组织,从而提高速度并降低内存占用的算法,由斯坦福大学的Tri Dao等人于2022年提出。它不做近似,计算结果与标准注意力完全相同,同时减少了大型注意力矩阵在GPU高带宽内存中的读写次数。

该算法采用分块(tiling)技术,将输入切成小块并在GPU高速片上内存中完成计算,使内存占用随序列长度线性而非平方增长。此后又推出了FlashAttention-2和FlashAttention-3,PyTorch、llama.cpp等主流训练和推理框架均已支持,广泛用于长上下文LLM的训练和推理。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • Qwen 3.8实测四款编码智能体:换harness不如调好配置AI性能 ·

    llama-server的配置也预先锁定:200,000 token上下文、开启flash attention、单槽位( )、q40量化的键值缓存、批大小4096和512、最多两个草稿token的draft MTP推测解码,以及用于聊天模板的 参数。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。