jailbreak

탈옥

AI 모델에 걸린 안전 규칙과 제한을 특수한 prompt로 우회해 금지된 출력을 끌어내는 행위다.

기사 1편최근 언급

jailbreak(탈옥)는 AI 분야에서 대규모 언어 모델 등 AI 모델에 설정된 안전 규칙과 사용 제한을 우회해, 모델이 원래 거부하도록 만들어진 출력을 내놓게 하는 행위를 뜻한다. 역할극을 시키거나, 지시문을 다른 언어나 암호로 감추거나, 긴 대화로 모델을 서서히 유도하는 등 여러 기법이 알려져 있다.

모델 개발사는 jailbreak를 막기 위해 학습 단계의 안전 훈련과 함께 입력·출력을 검사하는 분류기(classifier)를 두며, 이 분류기가 무해한 요청까지 막는 오탐이 모델 제한 논쟁의 한 축이 된다. 비슷한 개념인 prompt injection은 외부 데이터에 숨긴 지시로 모델을 조종하는 공격을 가리키며, 사용자가 직접 제한을 풀려는 jailbreak와 구별된다.

본래 스마트폰 등 기기의 제조사 제한을 풀어 비공식 소프트웨어를 설치하는 행위를 뜻하는 말이기도 하다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • Claude Code 숨은 제한 확대, 유료 구독은 언제든 바뀌는 임대 접근권AI 뉴스 ·

    6월 30일 Anthropic은 safety margin 접근법을 옹호하는 글을 내며, jailbreak(안전 규칙을 우회하는 시도)를 막기 위해 무해할 가능성이 높은 prompt에도 분류기가 반응하도록 일부러 조정한다고 인정했습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.