multi-head attention

멀티헤드 어텐션

attention을 여러 head로 나눠 병렬로 계산한 뒤 합치는 transformer의 핵심 구조다.

기사 1편최근 언급

multi-head attention은 transformer에서 attention을 여러 개의 head로 나눠 병렬로 계산한 뒤 결과를 이어 붙여 투영하는 구조다. 각 head는 query, key, value를 서로 다른 가중치로 투영해 token 사이의 관계를 서로 다른 관점에서 학습한다. 2017년 논문 'Attention Is All You Need'에서 제안됐다.

추론 때 head마다 key와 value를 KV cache에 저장해야 하므로 메모리 부담이 크다. 이를 줄이려고 여러 head가 key와 value를 공유하는 multi-query attention, grouped-query attention과 key·value를 압축해 저장하는 Multi-Head Latent Attention 같은 변형이 쓰인다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    이 과정을 여러 head로 나눠 병렬로 수행하는 것이 multi-head attention이고, attention과 feed-forward 층을 묶은 블록을 N번 쌓은 뒤 마지막에 LM head와 softmax로 어휘 전체에 대한 확률 분포를 내놓습니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.