bilevel optimization

이중 최적화

한 최적화 문제 안에 다른 최적화 문제가 제약으로 들어 있는 두 수준 구조의 최적화 문제다.

기사 1편최근 언급

bilevel optimization(이중 최적화)은 바깥(상위) 문제의 목적 함수가 안쪽(하위) 최적화 문제의 해에 의존하는 구조의 최적화 문제다. 상위 문제가 매개변수를 정하면 하위 문제는 그 매개변수 아래에서 자기 목적을 최적화하고, 상위 문제는 그 결과를 보고 다시 매개변수를 조정한다. 수리 계획법에서는 1970년대부터 연구된 문제로, 경제학의 Stackelberg 게임과 같은 구조다.

머신러닝에서는 hyperparameter 최적화, meta-learning, 신경망 구조 탐색 등에 이 틀이 쓰인다. 모델 학습이 안쪽 문제, 학습 설정의 선택이 바깥 문제에 해당하며, 안쪽 문제의 해를 통해 기울기를 전달하거나 근사하는 방법이 연구된다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 자기 개선 AI agent 설계: 두 loop와 reward hacking 방어AI 활용 ·

    수학적으로는 bilevel optimization(이중 최적화), 즉 바깥 목적 함수가 안쪽 최적화 문제를 지배하는 매개변수를 조정하는 구조입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.