bfloat16
bfloat16 是用于 AI 模型训练和推理的 16 位浮点格式，其数值范围比 fp16 更广。
1篇文章
最近提及 bfloat16 也写作 bf16，是由 Google Brain 提出的 16 位浮点格式，名称源自 brain floating point，用于 AI 模型训练和推理。它由 1 位符号位、8 位指数位和 7 位尾数位组成，指数范围与 fp32 相同。与 fp16 相比，它能表示更广的数值范围，但尾数位更少，数值精度也更低。
谷歌 TPU 以及许多 AI 加速器和 GPU 都支持该格式。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。