モデルルーティングmodel routing
リクエストごとに、タスクの難しさや必要な性能、コスト、応答速度に応じて複数のAIモデルから適切なものを選んで処理させる方式。
記事2本
最終言及 モデルルーティング（model routing）は、受け取ったリクエストを複数のAIモデルのいずれかに振り分けて処理させる方式である。タスクの難しさ、求められる品質、コスト、応答速度などの基準でモデルを選び、この判断を担う構成要素はルーターと呼ばれる。
大規模言語モデル（LLM）を使うサービスでは、簡単なリクエストを小型で安価なモデルに、難しいリクエストを高性能なモデルに任せ、コストと品質の釣り合いを取るために使われる。単一モデルの内部で入力を複数のエキスパートに振り分けるMixture of Expertsのルーティングとは異なり、独立した別々のモデルの間で選択する。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
この役割分担がモデルルーティングの要点です。