#蒸馏

开放权重模型仅落后两到三个月，前沿实验室的护城河是推理成本

开放权重模型与前沿模型的差距通常只有两到三个月。兰伯特认为中国实验室最大的短板是算力而非人才。蒸馏只能让开发提前几个月，无法取代基础训练。在兰伯特看来，前沿实验室的持久优势在于低价推理而非秘密算法。处理机密数据的团队可考虑在自有设施上运行开放权重模型。