spotlighting

스포트라이팅

LLM에 넣는 신뢰할 수 없는 외부 데이터를 경계 표시나 인코딩으로 구분해 숨은 지시를 따르지 않게 하는 prompt injection 방어 기법이다.

기사 1편최근 언급

spotlighting은 LLM(대규모 언어 모델)에 입력되는 신뢰할 수 없는 외부 데이터를 명시적으로 표시해, 모델이 그 안에 섞인 문장을 사용자의 지시로 착각해 실행하지 않도록 하는 indirect prompt injection 방어 기법이다. Microsoft 연구진이 2024년 발표한 논문에서 제안했다.

크게 세 방식이 있다. 구분(delimiting)은 외부 데이터를 명확한 경계 표식으로 감싸고, 데이터마킹(datamarking)은 데이터 전체에 특수 문자를 끼워 넣어 표시하며, 인코딩(encoding)은 외부 데이터를 base64 같은 형식으로 변환한 뒤 모델에 그 사실을 알려 준다. 세 방식 모두 system prompt에서 표시된 부분을 지시가 아닌 데이터로만 다루라고 모델에 알리는 것을 전제로 한다.

웹 페이지, 문서, 사용자 생성 콘텐츠처럼 출처를 통제할 수 없는 데이터를 읽는 AI agent와 RAG 시스템에서 주로 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • WebMCP 안전 설계, annotation 세 줄로 agent 사고 막기AI 보안 ·

    이를 이해하는 agent는 spotlighting(신뢰할 수 없는 데이터를 명확한 경계로 감싸 모델이 데이터와 지시를 구분하게 하는 방어 기법)을 적용합니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.