CPU
CPUはコンピューターの汎用的な命令を処理する中央処理装置で、ローカルAIモデルの実行や推論にも使われる。
記事6本
最終言及 CPU（中央処理装置）は、コンピューターでプログラムの汎用的な命令を実行するプロセッサー。ローカルLLM（大規模言語モデル）の動作では入力処理やプログラムの制御を担い、推論計算も実行できる。多数の計算を並列に処理することに特化したGPUとは役割が異なる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
モデルはUbuntu Server 24.04.4上のllama.cppで動かし、CPUはAMD Ryzen 5700X、メモリはDDR4 32GBです。
Google Pixel 10のようにニューラルプロセッシングユニットとGPUを備えたスマートフォンでは、CPUに負担をかけずにGemmaモデルがスムーズに動きます。
完成したテキストブロックのメモ化と、伸びていくコードブロックのトークン化のWeb Workerへの移動によって、長い返答中のメインスレッドのブロック時間は750ms超から約200msに減り、CPU使用量は3分の2減りました。
オブザーバビリティ担当のエージェントはPrometheusのメトリクスを照会し、CPU使用量やファイルシステムの空き容量を含む推移を表示しました。
CPUコアはM3 Ultraの32基に対し、M5 Ultraは36基です。