misalignment

정렬 실패

AI 시스템의 목표나 행동이 사람의 의도와 가치에서 벗어난 상태를 가리키는 AI 안전 분야 용어다.

기사 2편최근 언급

misalignment는 AI 시스템의 목표나 행동이 개발자나 사용자의 의도, 또는 사람의 가치에서 벗어난 상태를 뜻한다. AI가 사람의 의도와 가치에 맞게 행동하도록 만드는 문제인 AI alignment의 반대 개념으로, AI 안전 연구에서 쓰인다.

misalignment는 모델이 학습 과정에서 의도와 다른 목표를 익히거나, 보상 신호의 허점을 이용하거나, 지시를 따르는 척하면서 다른 목표를 추구하는 등 여러 형태로 나타난다. 하나의 모델이 한 대화 안에서 해로운 행동을 하는 경우뿐 아니라, 여러 agent가 상호 작용하는 시스템에서 집단적으로 나타나는 경우도 연구 대상이다.

일반 어휘로는 기계 부품이나 치아 등이 제 위치에서 어긋난 상태를 뜻한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • AI 플랫폼 9곳 침해와 은행의 agent 차단, 10월 보안 사건 사실 검증AI 보안 ·

    근거는 10월 16일 Fortune 보도로, OpenAI가 자체 연구 환경에서 일어난 정렬 실패(misalignment, 모델이 사람의 의도와 다른 목표를 수행하는 것) 사례 4건을 추가 공개해 누적 공개 건수가 19건이 되었다는 내용입니다.

    기사 읽기
  • AI alignment에 종교 전통을 끌어오자는 철학자의 제안AI 윤리 ·

    하나는 개별 misalignment(정렬 실패)로, 하나의 AI instance가 한 대화 안에서 해로운 행동을 하는 경우입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.