attention

어텐션

신경망이 입력의 각 부분에 가중치를 매겨 관련이 큰 부분에 집중하도록 하는 기법으로, Transformer 기반 LLM의 핵심 구성 요소다.

기사 3편최근 언급

attention(어텐션)은 신경망이 입력 전체를 같은 비중으로 다루지 않고, 현재 처리하는 요소와 관련이 큰 부분에 더 큰 가중치를 두어 정보를 모으는 기법이다. 2014년 무렵 신경망 기계 번역에서 긴 문장을 다루기 위해 도입됐고, 2017년 논문 'Attention Is All You Need'가 제안한 Transformer는 순환 구조 없이 self-attention만으로 문맥을 처리해 이후 LLM의 표준 구조가 됐다.

LLM에서는 입력의 각 token이 다른 token과 얼마나 관련 있는지를 계산해 문맥을 반영한 표현을 만드는 데 쓰인다. 계산량이 입력 길이의 제곱에 비례해 늘어나므로 긴 context window를 다루기 위한 효율화 기법이 함께 연구된다. 심리학에서는 특정 자극에 의식을 집중하는 인지 기능을 가리킨다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    이 글은 agent 개발자가 알아야 할 언어 모델의 작동 원리를 decoding 전략, transformer의 attention 구조, 학습과 추론 과정, 그리고 context engineering까지 한 흐름으로 묶고, 모델을 다룰 때 기준으로 삼을 만한 사실을 추려 정리합니다.

    기사 읽기
  • Herdr, AI agent 여러 개를 터미널에서 함께 굴리는 tmux 대안AI 활용 ·

    설정에서 소리 알림과 toast 알림을 켜 두면, agent가 작업을 마치거나 입력을 기다릴 때 "claude finished", "hermes finished", "claude needs attention" 같은 배너가 각기 다른 알림음과 함께 화면에 밀려 들어옵니다.

    기사 읽기
  • AI agent 코드 정확도, 예시를 먼저 쓰면 27%에서 94%로AI 활용 ·

    또 실패를 예측하는 행위 자체가 지금 풀어야 할 도메인 문제를 context의 맨 앞으로 끌어와, 코드 생성에 쓰이는 attention을 그 문제에 집중시킨다는 설명입니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.