効用関数(utility function)は、起こり得る結果や状態ごとに、その望ましさを実数値で表す関数である。経済学や意思決定理論に由来する概念で、合理的なagentは期待効用(expected utility)を最大化する行動を選択すると仮定される。
AIではagentの目標を数学的に表現する手段として用いられ、強化学習の報酬関数(reward function)が各ステップで報酬を与えるのとは異なり、結果全体に対する価値を表す。AI安全性の研究では、人間が設計した効用関数が意図とずれた場合に生じる問題や、agentが人間の効用を不確実なものとして推定するよう設計する手法が議論されている。