サーバーレスGPUserverless GPU

サーバーレスGPUは、サーバーレスコンピューティングの方式をGPUの計算処理に適用したものである。クラウド事業者がGPUサーバーの準備、拡張、運用を担い、利用者はコードやモデルをアップロードして実際に計算した時間分の料金を支払う。

主にAIモデルの推論に使われる。GPUサーバーを借り続ける方式よりアイドル時の費用を抑えられる一方、停止していたワーカーが再起動する際にコールドスタートの遅延が生じることがある。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。