FlashAttention是一种将Transformer模型中的注意力计算按GPU内存层次结构重新组织,从而提高速度并降低内存占用的算法,由斯坦福大学的Tri Dao等人于2022年提出。它不做近似,计算结果与标准注意力完全相同,同时减少了大型注意力矩阵在GPU高带宽内存中的读写次数。
该算法采用分块(tiling)技术,将输入切成小块并在GPU高速片上内存中完成计算,使内存占用随序列长度线性而非平方增长。此后又推出了FlashAttention-2和FlashAttention-3,PyTorch、llama.cpp等主流训练和推理框架均已支持,广泛用于长上下文LLM的训练和推理。