计算机操作Computer Use
Computer Use 是让 AI 智能体识别屏幕，并通过鼠标和键盘操作计算机的方式。
Computer Use 是 AI 智能体识别屏幕图像，并生成鼠标、键盘操作来使用应用或网站的方式。2024 年 10 月 Anthropic 在 Claude 3.5 Sonnet 上推出同名功能后，这一说法得到广泛使用。它不同于直接调用外部服务 API 的工具连接方式，而是通过人所使用的图形界面完成任务。以这种方式工作的AI智能体称为计算机操作智能体。
与只重放预设动作的传统屏幕自动化不同，模型会解读不断变化的画面并选择下一步操作。其性能通常用 OSWorld 等在真实计算机环境中测试任务完成能力的基准来比较。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
涉及该条目的文章
承担这项工作的是Codex的computer use功能，即像人一样查看屏幕并操作鼠标和键盘的能力。
Computer Use API：用于“计算机使用”的API，即让AI模型直接操作计算机
他看重的技术是计算机使用（computer use），即AI模型像人一样查看屏幕、通过点击和输入来操作软件的能力。
在设置的“Computer Use”部分关闭内置浏览器。
Muse的主要进步在于让计算机操作功能，即由AI代替人操作软件，变得人人可用。
OpenAI负责计算机操作（AI模型通过屏幕、鼠标和键盘操作软件的功能）产品与工程的负责人表示，以这种方式操作软件的智能体，在日常数字任务上已经比普通人完成得更快。
Agents API新增了Computer Use，当应用缺少合适的开发者API时，智能体可以直接操作图形界面。
这一说法涵盖智能体编程、计算机操作和专业任务等工作，但不应理解为在所有任务上都能得到相同结果的保证。
Chrome Computer Use则是另一项范围更广的权限决定。
所报告的对比仅针对这项计算机操作测试，并非对所有Jev应用提速幅度的测量。
Yutori的Navigator n2表明，评估计算机操作智能体时，需要同时考量成本和可靠性。
它在计算机操作和图表识别方面的提升则较小，两项成绩分别为81.8%对80.7%、89.0%对88.4%，表明提升幅度因任务而异。