RWKV는 transformer처럼 병렬로 학습하면서 순환 신경망(RNN)처럼 효율적으로 추론하는 오픈소스 언어 모델 구조이자 그 구조로 만든 모델 계열이다. Bo Peng이 주도해 개발했으며 Linux Foundation 산하 프로젝트로 운영된다.
attention 대신 선형 복잡도의 순환 연산을 써서 추론 때 고정 크기의 상태만 유지하므로 긴 입력에서도 메모리가 늘지 않는다. 여러 세대와 크기의 모델이 공개됐으며, 과거 정보를 고정 크기 상태에 압축하는 linear attention 계열 구조로 분류된다.