bfloat16

bfloat16はGoogle Brainが考案した16ビット浮動小数点形式で、bf16とも表記され、AIモデルの学習や推論に使われる。名称はbrain floating pointに由来する。符号部1ビット、指数部8ビット、仮数部7ビットで構成され、fp32と同じ指数範囲を持つ。fp16より表現できる数値の範囲は広い一方、仮数部が短いため精度は低い。

Google TPUをはじめ多くのAIアクセラレーターやGPUが対応している。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。