二段階最適化

bilevel optimization

ある最適化問題の中に別の最適化問題が制約として組み込まれた二層構造の最適化問題。

記事1本最終言及

二段階最適化(bilevel optimization)は、外側(上位)の問題の目的関数が内側(下位)の最適化問題の解に依存する構造の最適化問題である。上位問題がパラメータを定めると、下位問題はそのパラメータのもとで自らの目的を最適化し、上位問題はその結果を見てパラメータを調整する。数理計画法では1970年代から研究されており、経済学のシュタッケルベルクゲームと同じ構造を持つ。

機械学習では、ハイパーパラメータ最適化、メタ学習、ニューラルアーキテクチャ探索などにこの枠組みが用いられる。モデルの学習が内側の問題、学習設定の選択が外側の問題に対応し、内側の解を通じて勾配を伝播または近似する手法が研究されている。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • 自己改善型AIエージェントはどう動くか、二重ループと安全設計の要点AI活用 ·

    数学的に見れば、これは二段階最適化です。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。