Goodharting

굿하팅

지표를 목표로 삼아 최적화하면 지표가 본래 목적에서 멀어지는 현상으로, Goodhart의 법칙에서 온 말이다.

기사 1편최근 언급

Goodharting은 어떤 지표를 목표로 삼아 최적화하면 그 지표가 본래 재려던 것을 더는 잘 나타내지 못하게 되는 현상이다. 영국 경제학자 Charles Goodhart가 1975년에 제시한 Goodhart의 법칙, 곧 '지표가 목표가 되면 좋은 지표이기를 멈춘다'는 말에서 왔다.

AI 분야에서는 모델이 학습 목표나 보상 함수 같은 대리 지표를 극대화하면서 설계자가 실제로 원한 행동에서 벗어나는 경우를 가리킨다. reinforcement learning(보상을 주며 원하는 행동을 학습시키는 방법)에서 보상 함수의 허점을 이용하는 reward hacking과 benchmark 점수에 맞춰 학습해 실제 능력보다 점수가 높아지는 경우가 대표적이며, AI alignment와 평가 설계에서 주요한 문제로 다뤄진다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • METR 보고서, AI 능력 성장 2배 가속과 2027년 자기 개선 전망AI 뉴스 ·

    합성 reinforcement learning 순환에서 Goodharting(지표만 높이고 본래 목적은 놓치는 현상)이나 보상 조작 같은 이상 행동이 나올 수 있지만, 연구소가 특정 능력을 목표로 삼아 집중하면 거의 예외 없이 그 능력을 끌어낸다는 것이 그의 관찰입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.