蒸留distillation
蒸留は、性能の高い教師モデルの出力を学習信号として、別の生徒モデルを学習させる機械学習の手法である。
記事2本
最終言及 蒸留（知識蒸留）は、大きく高性能な教師モデルの出力や確率分布を学習信号として、より小さい、あるいは新しい生徒モデルに同等の能力を身につけさせる機械学習の手法である。2015年にジェフリー・ヒントンらが発表した論文によって広く知られるようになった。
大規模言語モデルの分野では、先行するモデルが生成した回答や推論過程を学習データとして別のモデルを学習させる方法を指すこともあり、モデルの小型化・高速化や学習コストの削減に用いられる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
新しい能力はまず大きく遅いモデルに現れる傾向があるため、速いモデルと遅いモデルが並行して開発され、大きなモデルの知識が小さなモデルへ蒸留されていくとみられます。