off-switch game

오프 스위치 게임

AI agent가 사람의 전원 차단을 받아들이는 조건을 분석한 게임 이론 모형으로 2016년 Stuart Russell 등이 제안했다.

기사 1편최근 언급

off-switch game은 합리적인 AI agent가 어떤 조건에서 사람이 자신을 끄는 것을 허용하는지 분석한 게임 이론 모형이다. 2016년 Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel, Stuart Russell이 같은 제목의 논문에서 제안했다. 모형에서 로봇은 고유한 목표 없이 사람의 효용(utility)을 최대화하려 하지만 그 효용의 정확한 값은 모른다.

분석에 따르면 로봇이 사람의 효용을 불확실하게 알고 사람이 합리적으로 판단한다고 믿을 때, 스스로 행동하기보다 사람에게 결정을 맡기고 전원 차단을 받아들이는 쪽의 기대 효용이 더 높다. 반대로 로봇이 자기 목표를 확신하면 종료를 막을 동기를 갖는다. 이 결과는 사람이 AI를 수정하거나 멈출 수 있는 성질인 corrigibility와, AI 안전에서 가치에 대한 불확실성이 하는 역할을 설명하는 근거로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI가 종료를 거부하는 이유, off-switch game이 짚는 불확실성 조건AI 윤리 ·

    이 글은 Stuart Russell이 2016년 동료들과 정식화한 off-switch game(AI가 사람의 전원 차단을 받아들이는지 따지는 게임 이론 모형)으로 이 행동이 왜 수학적으로 '합리적'일 수 있는지 설명하고, 지금의 LLM 학습 방식이 이 문제를 어떻게 남겨 두는지 짚습니다…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.