activation

활성값

신경망의 neuron이 입력을 받아 내보내는 출력값으로, 모델 내부 상태를 나타낸다.

기사 2편최근 언급

activation(활성값)은 신경망의 neuron이 입력의 가중합에 활성화 함수를 적용해 내보내는 출력값이다. 한 층의 neuron들이 내는 activation의 집합은 그 층이 입력을 어떻게 표현하는지 나타내며, 다음 층의 입력이 된다.

활성화 함수는 ReLU, sigmoid, GELU처럼 비선형 변환을 수행해 신경망이 복잡한 함수를 근사할 수 있게 한다. interpretability 연구에서는 특정 입력에 대한 neuron의 activation 크기와 패턴을 분석해 그 neuron이 어떤 특징을 감지하는지 추정한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 성능은 어디서 갈리나: pre-training, SFT, RL 3단계AI 성능 ·

    그래서 층(layer)을 여러 겹 쌓고 비선형 activation function(활성화 함수)을 끼워 넣습니다.

    기사 읽기
  • 신경망 내부 90%는 읽힌다, Cammarata가 흔든 black box 통념AI 보안 ·

    네트워크가 커지고 연결이 깊어질수록 사람은 개별 node와 activation(neuron이 입력에 반응해 내는 활성값)이 무엇을 뜻하는지 해독할 수 없게 됐고, black box라는 평판이 굳어졌습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.