コンピューター操作Computer Use
Computer Useは、AIエージェントが画面を認識し、マウスやキーボードの操作でコンピューターを扱う方式である。
Computer Useは、AIエージェントが画面画像を読み取り、マウスやキーボードの入力を生成してアプリやウェブサイトを操作する方式である。Anthropicが2024年10月にClaude 3.5 Sonnetでこの名称の機能を公開したことで広く知られるようになった。外部サービスのAPIを直接呼び出す連携とは異なり、人が使うグラフィカルな画面を介して作業する。この方式で作業するAIエージェントはコンピューター操作エージェントと呼ばれる。
あらかじめ決めた操作を繰り返す従来の画面自動化と異なり、モデルが変化する画面を解釈して次の操作を選ぶ。性能は、実際のコンピューター環境でのタスク遂行能力を測るOSWorldなどのベンチマークで比較される。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
この作業を引き受けたのが、人と同じように画面を見てマウスとキーボードを操作するCodexのcomputer use機能です。
Computer Use API：AIモデルがコンピューターを直接操作する「コンピューター操作」のためのAPI
設定の「Computer Use」セクションで内蔵ブラウザーをオフにします。
Museの大きな進歩は、AIが人に代わってソフトウェアを操作するコンピューター操作の機能を、誰でも使えるようにした点です。
OpenAIでコンピューター操作（画面、マウス、キーボードを通じてAIモデルがソフトウェアを操作する機能）の製品開発とエンジニアリングを率いる担当者によると、この方式でソフトウェアを操作するエージェントは、日常的なデジタル作業をすでに平均的な人より速くこなしています。
Agents APIにはComputer Useが加わり、アプリに適切な開発者向けAPIがない場合でも、エージェントがグラフィカルな画面を操作できます。
この主張はエージェントによるコーディング、コンピューター操作、専門業務などを対象としたもので、あらゆるタスクで同じ結果が得られる保証と受け取るべきではありません。
ネイティブのデスクトップアプリには、より速い音声オプションと広範なコンピューター操作の設定が加わりました。
コンピューター操作の能力には承認の境界が必要
報告された比較結果は、このコンピューター操作テストに限ったもので、Jevを使うあらゆるアプリケーションで測定された高速化ではありません。
YutoriのNavigator n2は、コンピューター操作エージェントを評価する際に、コストと信頼性を併せて見るべき理由を示しています。
コンピューター操作とグラフ認識の改善幅はそれぞれ81.8％対80.7％、89.0％対88.4％と小さく、改善の度合いはタスクによって異なることがうかがえます。