TextGradは、スタンフォード大学の研究者が2024年に公開したオープンソースのPythonフレームワークである。ニューラルネットワークの学習で勾配を逆伝播させるのと同じように、言語モデルが出力に対して書いた自然言語の批評をシステムの前段へ伝え、各構成要素を修正する。研究者はこれをテキストによる自動微分と呼んでおり、深層学習ライブラリのPyTorchに似た文法を採用している。
最適化の対象はプロンプトに限らず、問題の解答、コード、分子構造など、テキストで表現される変数全般に及ぶ。複数の言語モデル呼び出しやツールを組み合わせた複合AIシステムの調整に使われる。