RWKVは、transformerのように並列に学習しながら、リカレントニューラルネットワーク(RNN)のように効率的に推論するオープンソースの言語モデル構造と、その構造で作られたモデル系列である。Bo Pengが主導して開発し、Linux Foundation傘下のプロジェクトとして運営されている。
アテンションの代わりに線形計算量の再帰演算を使い、推論時には固定サイズの状態だけを保持するため、長い入力でもメモリが増えない。複数の世代とサイズのモデルが公開されており、過去の情報を固定サイズの状態に圧縮する線形アテンション系の構造に分類される。