パラメータparameter
パラメータは、AIモデルが学習によって値を決める内部の数値で、モデルの規模を表す指標としても使われる。
ニューラルネットワークにおけるパラメータは、主にニューロン間の結合の重みとバイアスを指す。大規模言語モデルの規模は一般にパラメータ数で表され、「27B」は270億個を意味する。パラメータが多いほど、実行に必要なメモリと計算量は大きくなる。プログラミングでは関数に渡す値を指すこともある。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
270億パラメータのモデルを2ビット精度まで縮めても、16GBのグラフィックスカード1枚で実際の開発作業をこなせます。
要求は厳格なスキーマ（決まった形式）に従うため、パラメーターは常に有効で、そのまま実行できます。
モデルの重みやパラメーターは変えていません。
Googleが学習済みのパラメーターを公開しており、誰でもダウンロードできます。
モデルのパラメーター、つまり学習中に調整される内部の値を10兆や100兆に増やしても、透明な推論が自然に生まれるわけではありません。
注入された指示の代わりとして、エージェントにリポジトリのREADMEを読み、その内容をURLパラメーターとして外部ドメインへ送るよう指示しました。
一晩でエージェントは動作するバージョンを5、6通り作り、フィードバック用のパラメーターを集め、次に進められる開発ステップを7つ示しました。
モデルの重みとは、システムが画像を生成する前に必要とする保存済みのパラメーターです。
オープンウェイトとは、モデルのパラメータをユーザーが利用できることを意味します。
270億パラメータのこのモデルは、コンピューター操作のベンチマーク5件中4件で首位となり、OSWorld-v2ではタスク当たりのAPIコストが約$1.46でした。
オープンウェイトモデルは、他者が改変できるようモデルのパラメータを公開するものです。
比較的安価なNVIDIA RTX 3060でも、80億パラメータのモデルを毎秒40〜50トークンで動かせます。