distributed representation

분산 표현

하나의 개념을 여러 unit에 걸친 활성 패턴으로 나타내는 신경망의 정보 표현 방식이다.

기사 1편최근 언급

distributed representation(분산 표현)은 하나의 개념을 여러 unit에 걸친 활성 패턴으로 나타내고, 각 unit은 여러 개념의 표현에 참여하는 신경망의 정보 표현 방식이다. 개념마다 전용 unit 하나를 두는 localist representation(국소 표현)과 대비된다.

1980년대 Geoffrey Hinton 등 병렬 분산 처리(PDP) 연구 그룹이 주창했으며, 적은 수의 unit으로 많은 개념을 담을 수 있고, 일부 unit이 손상돼도 표현이 완전히 사라지지 않으며, 비슷한 개념이 비슷한 패턴을 가져 일반화에 유리하다는 장점이 있다. 단어를 실수 벡터로 나타내는 word embedding이 대표적인 예이며, 현대 딥러닝 모델의 내부 표현은 대부분 분산 표현이다. 반면 unit 하나만 봐서는 의미를 알기 어려워 interpretability를 어렵게 하는 요인으로도 꼽힌다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 신경망 내부 90%는 읽힌다, Cammarata가 흔든 black box 통념AI 보안 ·

    구분 localist representation(국소 표현) distributed representation(분산 표현)

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.