蒸馏distillation

蒸馏（又称知识蒸馏）是一种机器学习技术：以规模更大、性能更强的教师模型的输出或概率分布作为学习信号，让更小或新的学生模型习得相近的能力。该方法因杰弗里·辛顿等人2015年发表的论文而广为人知。

在大语言模型领域，该术语也指用更先进模型生成的回答或推理过程作为训练数据来训练另一个模型，常用于打造更小、更快的模型或降低训练成本。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。