アテンション

attention

アテンションは、ニューラルネットワークが入力の各部分に重みを付けて関連の強い部分に注目できるようにする仕組みで、Transformer系LLMの中核を成す。

記事3本最終言及

アテンション(attention)は、ニューラルネットワークが入力全体を均等に扱うのではなく、現在処理している要素と関連の強い部分により大きな重みを与えて情報を集約する仕組みである。2014年頃にニューラル機械翻訳で長文を扱うために導入され、2017年の論文「Attention Is All You Need」が提案したTransformerは再帰構造を持たずセルフアテンションのみで文脈を処理し、その後のLLMの標準的な構造となった。

LLMでは、入力の各トークンが他のトークンとどの程度関連するかを計算し、文脈を反映した表現を作るために用いられる。計算量が入力長の二乗に比例して増えるため、長いコンテキストウィンドウを扱うための効率化手法が併せて研究されている。心理学では特定の刺激に意識を集中する認知機能を指す。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    それでも、ツール、メモリ、プロンプトについて下す判断は、モデルの内部で起きていること、つまり次のトークンをどう選ぶか、アテンションによって前のテキストをどう参照するか、その参照にどれだけのメモリがかかるかによって制約されます。

    記事を読む
  • Herdr入門:tmuxを超えるAIエージェント向けターミナル管理ツールAI活用 ·

    音声アラートと内部トーストを有効にしておくと、エージェントが完了したり停止したりした際に、固有のチャイムとともにバナーがスライドして現れ、「claude finished」「hermes finished」「claude needs attention」といったメッセージを示します。

    記事を読む
  • DeepSeekがV4.1-Flashと推論エンジン公開、コーディング費用は14分の1にAIニュース ·

    ホスト型APIが依存するオンライン本番層、すなわちKVキャッシュシステム(モデルが以前のトークンを再処理しなくて済むようアテンションの状態を保持するメモリ)、プリフィルとデコードの分離(2つのフェーズを別々のハードウェアプールで実行する仕組み)、レプリカ間の負荷分散は、今回の公開から外されています。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。