オンデバイスon-device

オンデバイスは、スマートフォンやPC、ブラウザーなど利用者の端末でデータを処理し、AIモデルを実行する方式を指す。データをサーバーに送って処理するクラウド方式と対比される。

データが端末の外に出ないためプライバシー保護に有利で、ネットワークの往復がないため遅延が小さく、サーバーでの推論費用もかからない。端末の演算能力とメモリーに限りがあるため、主に小規模なモデルが使われる。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。