双层优化(bilevel optimization)是一种外层(上层)问题的目标函数依赖于内层(下层)优化问题之解的优化问题。上层问题设定参数,下层问题在该参数下优化自身目标,上层问题再根据结果调整参数。它在数学规划领域自20世纪70年代起就有研究,与经济学中的斯塔克尔伯格博弈具有相同结构。
在机器学习中,该框架被用于超参数优化、元学习、神经网络架构搜索等任务。模型训练对应内层问题,训练配置的选择对应外层问题,通过内层解传递或近似梯度的方法是研究热点。
bilevel optimization
一个优化问题作为约束嵌套在另一个优化问题之中的两层结构优化问题。
双层优化(bilevel optimization)是一种外层(上层)问题的目标函数依赖于内层(下层)优化问题之解的优化问题。上层问题设定参数,下层问题在该参数下优化自身目标,上层问题再根据结果调整参数。它在数学规划领域自20世纪70年代起就有研究,与经济学中的斯塔克尔伯格博弈具有相同结构。
在机器学习中,该框架被用于超参数优化、元学习、神经网络架构搜索等任务。模型训练对应内层问题,训练配置的选择对应外层问题,通过内层解传递或近似梯度的方法是研究热点。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
从数学上看,这是双层优化:外层目标选择的设置,支配着一个内层优化问题。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。