扩展定律scaling law

扩展定律（scaling law）是机器学习中的一种经验关系：随着模型参数量、训练数据量和训练算力增加，损失或性能会沿着幂律等规律性曲线改善。

这一概念在大语言模型研究中逐步成形，代表性成果包括2020年OpenAI研究团队的论文和2022年DeepMind研究团队的Chinchilla论文。它被用来决定如何在固定算力预算内分配模型规模与数据量，至于其他领域是否存在同样的关系，需要另行验证。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。