Quantization-Aware Training
QATは、量子化による精度低下を抑えるため、低い数値精度を学習過程に反映させる手法である。
記事1本
最終言及 Quantization-Aware Training（QAT）は、モデルの数値を低い精度で保存する量子化を、学習段階であらかじめ考慮する手法である。学習中に低精度での計算を模擬することで、量子化した後もモデルの性能が落ちにくくなる。
学習済みモデルをそのまま量子化する学習後量子化に比べて精度を保ちやすい一方、追加の学習が必要になる。メモリの限られたスマートフォンや小型機器でモデルを動かす際に主に使われる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。