superposition(슈퍼포지션)은 신경망이 어떤 층의 차원 수보다 많은 특징을 서로 완전히 직교하지 않는 방향에 겹쳐 담는 현상을 가리키는 interpretability 용어다. 특징 수가 차원 수를 넘으면 모델은 드문 특징들을 서로 간섭하는 방향에 압축해 저장하며, 이 때문에 neuron 하나가 여러 특징에 반응하는 polysemanticity가 나타난다고 설명된다.
Anthropic이 2022년 발표한 'Toy Models of Superposition'에서 작은 모델로 이 현상을 수학적으로 분석해 널리 알려졌다. 겹쳐 담긴 특징을 분리하기 위해 sparse autoencoder로 내부 표현을 분해하는 방법이 연구된다. 물리학에서는 여러 상태가 동시에 겹쳐 있는 양자 상태를 뜻한다.