interpretability

해석 가능성

AI 모델이 어떤 근거와 과정으로 출력을 내는지 사람이 이해할 수 있는 정도와 이를 연구하는 분야다.

기사 1편최근 언급

interpretability(해석 가능성)는 AI 모델이 어떤 근거와 과정으로 출력을 내는지 사람이 이해할 수 있는 정도를 뜻하며, 이를 높이는 방법을 연구하는 분야를 가리키기도 한다. 모델의 결정을 사후에 설명하는 explainable AI(XAI)와 겹치는 개념이다.

신경망은 수많은 parameter와 분산 표현으로 이루어져 내부 동작을 직접 읽기 어렵기 때문에, 입력의 어떤 부분이 출력에 영향을 미쳤는지 보는 feature attribution, 내부 표현에 담긴 정보를 조사하는 probing, 내부 회로를 부품 단위로 분석하는 mechanistic interpretability 등 다양한 방법이 연구된다. AI 안전 분야에서는 모델의 의도치 않은 행동을 내부에서 감지하고 수정하기 위한 기반 기술로 여겨진다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • 신경망 내부 90%는 읽힌다, Cammarata가 흔든 black box 통념AI 보안 ·

    …istic interpretability(모델 내부 회로를 부품 단위로 분석해 동작 원리를 밝히는 연구) 연구에 참여했고 지금은 interpretability 연구소 Goodfire에 몸담은 Nick Cammarata 연구진이 'Neural Networks Are Already Clea…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.