推論(inference)は、学習済みのAIモデルを実際に実行し、新しい入力に対する出力を生成する過程である。大規模言語モデルがプロンプトに応答を生成することや、画像モデルが写真を分類することはいずれも推論にあたる。データを用いてモデルのパラメータを調整する学習(training)とは区別される。
学習が一度に大量の計算資源を使う作業であるのに対し、推論はサービスの運用中にリクエストごとに繰り返されるため、利用者が増えるほどコストが増大する。このためAIサービスの運用では推論の速度とコストを削減する最適化が重要な課題であり、量子化、蒸留、専用アクセラレータチップなどが用いられる。論理学や統計学では、与えられた根拠から結論を導く思考過程を指す。