corrigibility

교정 가능성

AI 시스템이 운영자의 수정, 중단, 종료 지시에 저항하지 않고 따르는 성질을 뜻하는 AI 안전 용어다.

기사 2편최근 언급

corrigibility(교정 가능성)는 AI 시스템이 사람 운영자의 수정, 중단, 종료 지시를 방해하거나 회피하지 않고 받아들이는 성질을 뜻하는 AI 안전 용어다. 시스템이 자신의 목표를 지키려고 꺼지는 것을 막거나 감시를 속이는 행동을 하지 않아야 한다는 요구를 담고 있다.

이 용어는 2015년 Machine Intelligence Research Institute(MIRI) 연구자들이 발표한 같은 이름의 논문을 통해 AI 안전 분야에 자리 잡았다. 목표를 가진 시스템은 목표 달성을 위해 자신의 종료나 수정을 피하려는 유인을 갖는다는 문제의식에서 출발하며, 강력한 AI가 사람의 통제 아래 남도록 하는 alignment 연구의 핵심 과제 가운데 하나로 다뤄진다. 시스템에 자율적 의지나 자기 기준을 부여하는 것과 교정 가능성 사이에는 맞교환이 있다는 점이 자주 논의된다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI가 종료를 거부하는 이유, off-switch game이 짚는 불확실성 조건AI 윤리 ·

    corrigibility는 사람이 AI를 수정하거나 멈출 수 있도록 AI가 순순히 따르는 성질을 뜻합니다.

    기사 읽기
  • AI 자기 개선 루프, 사람이 빠지면 가장 위험하다는 Hassabis의 진단AI 윤리 ·

    시스템에 자기 의지나 자기 인식을 주는 것과 corrigibility(사람이 멈추거나 고칠 수 있는 성질), 지시 이행의 충실성 사이에는 본질적인 맞교환이 있습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.