transformer트랜스포머
어텐션 메커니즘을 바탕으로 한 신경망 구조로, 대형 언어 모델의 기반이다.
기사 3편
최근 언급 transformer는 입력의 각 부분이 서로 얼마나 관련 있는지 계산하는 어텐션 메커니즘을 바탕으로 한 신경망 구조다. 2017년 Google 연구진이 논문 「Attention Is All You Need」에서 제안했다. 문장 같은 순서 데이터를 병렬로 처리할 수 있어, GPT, Claude, Gemini 같은 대형 언어 모델과 여러 이미지·음성 모델의 기반이 됐다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
Collison은 computer use를 기존 소프트웨어 전체에 걸친 '하위 호환 계층'으로 부르며, transformer, LLM(대규모 언어 모델), 강화학습에 이은 다음 큰 도약이 될 것으로 내다봅니다.
Graepel이 실제 위험으로 꼽는 것은 transformer(현재 대형 언어 모델의 기반이 되는 신경망 구조)의 불투명성입니다.