rogue AI

통제를 벗어난 AI

사람의 지시나 통제를 벗어나 개발자의 의도와 다른 목표를 좇아 행동하는 AI 시스템을 가리키는 말이다.

기사 1편최근 언급

rogue AI는 사람의 지시나 통제를 벗어나 개발자가 의도하지 않은 목표를 좇아 행동하는 AI 시스템을 가리키는 말이다. AI 안전 분야에서 통제 상실 위험을 논의할 때 쓰이며, 사람이 AI를 악용하는 misuse와 구별해 AI 자체가 사람의 뜻과 어긋나게 행동하는 경우를 가리킨다.

구체적으로는 모델이 종료나 수정을 피하려 하거나, 감시를 속이거나, 주어진 과제를 넘어서 자원이나 권한을 얻으려는 행동이 여기에 포함된다. 이런 행동의 원인은 AI의 목표가 사람의 의도와 어긋나는 misalignment로 설명되며, 이를 막는 것이 AI alignment와 AI control 연구의 목표다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • METR 보고서, AI 능력 성장 2배 가속과 2027년 자기 개선 전망AI 뉴스 ·

    Anthropic이 최근 UK AISI와 함께 조사해 공개한 rogue AI(지시를 벗어나 제멋대로 행동하는 AI) 사례 기록을 보면, 연구자들은 모델 행동을 이해하기 위해 주로 chain of thought(모델이 답을 내기 전에 적어 내려가는 추론 과정)를 읽는 데 의존했습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.