トランスフォーマーtransformer
アテンション機構に基づくニューラルネットワーク構造で、大規模言語モデルの基盤。
記事1本
最終言及 トランスフォーマーは、入力の各部分が互いにどれだけ関連しているかを計算するアテンション機構に基づくニューラルネットワーク構造である。2017年にGoogleの研究者が論文「Attention Is All You Need」で提案した。文章のような系列データを並列に処理できるため、GPT、Claude、Geminiなどの大規模言語モデルや多くの画像・音声モデルの基盤となった。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。