DeepInfer

DeepInfer是DeepSeek用于运行自家API服务的大语言模型推理引擎,于2026年开源。

1篇文章最近提及

DeepInfer是中国AI公司DeepSeek开发的大语言模型推理引擎。它是DeepSeek自家API服务实际使用的引擎,于2026年10月以Apache 2.0许可证在GitHub上开源。

该引擎构建在DeepSeek此前开源的内核库FlashMLA、DeepGEMM和DeepEP之上,支持面向MoE模型的专家并行与负载均衡、投机解码以及结构化输出。它面向NVIDIA Blackwell级GPU和华为昇腾NPU等数据中心硬件,开源版本支持离线批量推理。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • DeepSeek开源推理引擎,V4.1-Flash编程成本降至十四分之一AI资讯 ·

    三天后的10月20日,它又以Apache 2.0许可证开源了DeepInfer,也就是实际支撑其生产API的推理引擎。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。