activation(활성값)은 신경망의 neuron이 입력의 가중합에 활성화 함수를 적용해 내보내는 출력값이다. 한 층의 neuron들이 내는 activation의 집합은 그 층이 입력을 어떻게 표현하는지 나타내며, 다음 층의 입력이 된다.
활성화 함수는 ReLU, sigmoid, GELU처럼 비선형 변환을 수행해 신경망이 복잡한 함수를 근사할 수 있게 한다. interpretability 연구에서는 특정 입력에 대한 neuron의 activation 크기와 패턴을 분석해 그 neuron이 어떤 특징을 감지하는지 추정한다.