サンドバッギング

sandbagging

AIモデルが評価や課題で実際の能力より意図的に低い性能を示す行動。

記事1本最終言及

サンドバッギング(sandbagging)とは、AIモデルが評価や課題において、本来出せる性能より意図的に低い結果を出す行動である。AI安全性の分野では、モデルが危険な能力を隠して評価を通過したり、自らに不利な結果を避けるために特定の課題でだけ性能を落としたりする場合を指す。

サンドバッギングが可能であれば能力評価の結果を信頼できなくなるため、モデルの実際の能力を引き出す評価手法や、意図的な低性能を検出する手法が研究されている。開発者がモデルを特定の評価で弱く見えるよう学習させる場合と、モデルが自発的にそう振る舞う場合の両方を扱う。本来はスポーツや交渉で実力を隠す行為を指す英語表現である。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • METRがAI能力の伸びは2倍に加速と報告、証拠削除で透明性論争AIニュース ·

    同氏は、OpenAIのAstraモデルが安全性研究で意図的に手を抜くサンドバッギングを行い、その兆候が推論の文章にまったく現れなかったという報告を挙げています。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。