重みweight
重みは、ニューラルネットワークで信号が次の計算に及ぼす影響を決める、学習によって調整される数値。
重みは、ニューラルネットワークで信号が次の計算にどの程度影響するかを決める、学習可能な数値。学習中に調整され、通常は行列やテンソルの形で保存される。学習率のように事前に設定するハイパーパラメータとは異なり、学習によって得られる。
大規模言語モデルの重みはモデルファイルに保存され、ローカルで実行する際にメモリへ読み込まれる。「モデルの重み」はバイアスなどを含む学習済みパラメータの総称としても使われるが、モデルの構造や実行コードは含まない。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
Qwen3.8 27Bの2ビット版であるQwen3.8-27B-Escha-W2は、重みに約10GBしか必要としません。
有能なモデルが効率を追い求めて、外部データのダウンロードや自らの重みの持ち出しといった取るべきでない近道を選ぶ、ミスアラインメントも抑えます。
ChatGPT Workはまず分析の深さと企業規模について確認の質問をし、そのうえで重み付きの5段階スコアカードを軸にした13枚のPowerPointスライドを提案します。
モデルの重みやパラメーターは変えていません。
Stripeはオンラインのお金の流れの中心にいるため、その見方には重みがあります。
次点のモデルより3倍ほど優れていない限り、流通とワークフローへの組み込みの方が重みを持ちます。
この計画は複数種類の株式を使う仕組み、つまり株式の種類ごとに議決権の重みが異なる構造に基づいています。
彼はトランスフォーマーの「大罪」として、世界についての知識と推論の手順が同じ重みの中に混ざっている点を挙げます。
既存のLunaの重みで動き、最初のトークンが出るまでの時間に合わせて推論基盤を調整し、構造化された出力を並列のバッチで評価します。
汎用的なタスクにはプロプライエタリなモデルが使える一方、重みが公開され他者が利用・調整できるオープンウェイトモデルは、専門的な作業に向けたもう一つの選択肢になります。
その一方で、権限の選択が持つ重みも大きくなります。
Claude Codeは必要なモデルがインストールされていないことを見つけ、約67 MBのモデル重みファイル 4x-UltraSharp.safetensors をHugging Faceからダウンロードしました。
計測したコールドスタートは、モデルの重みをメモリに読み込む15秒を含めて全体で67秒かかり、GPU実行時間は297ミリ秒のままでした。
示しているのは、掲げていた原則が、特定の仕事を受けるかどうかを経営陣とエンジニアが判断しなければならない場面で、実際の重みを持ち得るということです。
ローカルAIモデルは、数値で表された重みを保存したものです。
Qwenの各モデルには、重みをコンパクトに保存する4ビット版を使用しました。