positional embedding

위치 임베딩

transformer가 token의 순서를 알 수 있도록 위치 정보를 벡터로 바꿔 입력에 더하는 요소다.

기사 1편최근 언급

positional embedding은 transformer가 token의 순서를 알 수 있도록 각 token의 위치 정보를 벡터로 바꿔 입력 embedding에 더하는 요소다. attention 연산 자체는 입력의 순서를 구별하지 못하므로 위치 정보를 따로 넣어야 한다. positional encoding이라고도 한다.

고정된 sin·cos 함수를 쓰는 방식, 위치마다 벡터를 학습하는 방식, query와 key를 회전시켜 상대 위치를 반영하는 RoPE 등이 있다. 모델은 학습 때 본 범위의 위치만 제대로 해석하므로 positional embedding 방식은 context window 길이의 실질적 한계와 긴 context로 확장하는 방법을 결정한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    각 token을 학습된 embedding 표로 벡터로 바꾸고, 순서 정보를 담은 positional embedding을 더합니다.

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.