fp16半精度浮動小数点数
fp16は、IEEE 754で定められた16ビットの半精度浮動小数点形式で、AIモデルの学習や推論に使われる。
記事1本
最終言及 fp16は、IEEE 754規格で定められた16ビットの半精度浮動小数点形式で、符号1ビット、指数5ビット、仮数10ビットで構成される。32ビットのfp32に比べて1値あたりのメモリが半分で済むため、AIモデルの学習や推論に用いられる。同じ16ビット形式のbf16と比べると表現できる数値の範囲は狭いが、仮数のビット数が多く精度は高い。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。