RWKV

transformer의 병렬 학습과 RNN의 효율적 추론을 결합한 오픈소스 언어 모델 구조이자 모델 계열이다.

기사 1편최근 언급

RWKV는 transformer처럼 병렬로 학습하면서 순환 신경망(RNN)처럼 효율적으로 추론하는 오픈소스 언어 모델 구조이자 그 구조로 만든 모델 계열이다. Bo Peng이 주도해 개발했으며 Linux Foundation 산하 프로젝트로 운영된다.

attention 대신 선형 복잡도의 순환 연산을 써서 추론 때 고정 크기의 상태만 유지하므로 긴 입력에서도 메모리가 늘지 않는다. 여러 세대와 크기의 모델이 공개됐으며, 과거 정보를 고정 크기 상태에 압축하는 linear attention 계열 구조로 분류된다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.

이 항목을 다룬 기사

  • LLM 작동 원리로 세우는 agent의 context 설계 기준AI 활용 ·

    …ER benchmark 결과를 보면 Llama-2-7B 같은 표준 transformer는 8k 길이까지 높은 정확도를 유지하는 반면, RWKV-v5-7B와 Mamba-2.8B 같은 linear attention 모델은 2k~4k를 넘어서면 needle-in-a-haystack(긴 글 속…

    기사 읽기

설명이 잘못되었거나 찾는 항목이 없나요?

위키 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리합니다. 잘못된 설명은 정정 요청으로 알려 주시면 확인해 고칩니다. 새 기사에 나온 이름은 기사가 올라온 뒤 위키에 더해집니다.