RWKV

transformerの並列学習とRNNの効率的な推論を組み合わせたオープンソースの言語モデル構造およびモデル系列。

記事1本最終言及

RWKVは、transformerのように並列に学習しながら、リカレントニューラルネットワーク(RNN)のように効率的に推論するオープンソースの言語モデル構造と、その構造で作られたモデル系列である。Bo Pengが主導して開発し、Linux Foundation傘下のプロジェクトとして運営されている。

アテンションの代わりに線形計算量の再帰演算を使い、推論時には固定サイズの状態だけを保持するため、長い入力でもメモリが増えない。複数の世代とサイズのモデルが公開されており、過去の情報を固定サイズの状態に圧縮する線形アテンション系の構造に分類される。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    RULERベンチマークのneedle-in-a-haystackタスクでは、エッセイのテキストにマジックナンバーを隠して末尾で問い合わせますが、Llama-2-7Bが8kトークンまで高い精度を保つのに対し、RWKV-v5-7BとMamba-2.8Bは2kから4kトークンを超えると急激に劣化します。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。