superposition

슈퍼포지션

신경망이 차원 수보다 많은 특징을 서로 겹치는 방향에 압축해 담는 현상을 가리키는 interpretability 용어다.

기사 1편최근 언급

superposition(슈퍼포지션)은 신경망이 어떤 층의 차원 수보다 많은 특징을 서로 완전히 직교하지 않는 방향에 겹쳐 담는 현상을 가리키는 interpretability 용어다. 특징 수가 차원 수를 넘으면 모델은 드문 특징들을 서로 간섭하는 방향에 압축해 저장하며, 이 때문에 neuron 하나가 여러 특징에 반응하는 polysemanticity가 나타난다고 설명된다.

Anthropic이 2022년 발표한 'Toy Models of Superposition'에서 작은 모델로 이 현상을 수학적으로 분석해 널리 알려졌다. 겹쳐 담긴 특징을 분리하기 위해 sparse autoencoder로 내부 표현을 분해하는 방법이 연구된다. 물리학에서는 여러 상태가 동시에 겹쳐 있는 양자 상태를 뜻한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 신경망 내부 90%는 읽힌다, Cammarata가 흔든 black box 통념AI 보안 ·

    superposition, 피할 수 없는 구조로 여겨지다

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.