DeepGEMM

DeepGEMM是DeepSeek于2025年开源的FP8矩阵乘法(GEMM)内核库,同时支持稠密模型和MoE模型。

1篇文章最近提及

DeepGEMM是中国AI公司DeepSeek开发的开源矩阵乘法内核库。它旨在以FP8精度高效执行大语言模型训练和推理中计算量最大的GEMM(通用矩阵乘法),于2025年2月DeepSeek开源周期间发布。

它同时支持稠密模型的普通GEMM和将MoE模型中各专家计算合并处理的分组GEMM,并采用运行时即时编译内核的结构。它是DeepSeek推理引擎DeepInfer所依赖的库之一。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    DeepGEMM:处理占据模型算力大头的矩阵乘法的库

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。