Computer Use컴퓨터 유즈
Computer Use는 AI agent가 화면을 인식하고 마우스·키보드 입력으로 컴퓨터를 조작하는 방식이다.
Computer Use는 AI agent(목표를 받아 스스로 작업을 수행하는 AI 시스템)가 화면 이미지를 인식하고 마우스·키보드 입력을 생성해 앱이나 웹을 조작하는 방식이다. Anthropic이 2024년 10월 Claude 3.5 Sonnet에 이 이름의 기능을 공개하면서 널리 쓰이게 됐다. 외부 서비스의 API를 직접 호출하는 도구 연동과 달리, 사람이 쓰는 그래픽 화면을 통해 작업한다. 이런 방식으로 작업하는 AI agent를 computer-use agent라고 부른다.
미리 정한 동작만 반복하는 기존 화면 자동화와 달리, 모델이 바뀌는 화면을 해석해 다음 동작을 고른다. 성능은 OSWorld처럼 실제 컴퓨터 환경에서 작업 수행 능력을 재는 benchmark로 비교한다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
Computer Use API: AI가 컴퓨터를 직접 다루는 computer use 기능용 API
이때 핵심 기술로 꼽는 것이 computer use(AI가 사람처럼 화면을 보고 클릭과 입력으로 소프트웨어를 다루는 기능)입니다.
설정의 'Computer Use' 항목에서 내장 브라우저를 끕니다.
Muse의 강점은 computer use(AI가 사람 대신 화면을 조작해 작업하는 기능)를 누구나 쓸 수 있게 만든 데 있습니다.
OpenAI에서 computer use(AI가 화면을 보고 마우스와 키보드를 조작해 소프트웨어를 다루는 기능) 제품과 엔지니어링을 이끄는 담당자는 이 기능이 흔한 작업에서 이미 평균적인 사람보다 빠르게 일을 끝내는 수준에 왔다고 봅니다.
Agents API에는 Computer Use가 더해져, 전용 API가 없는 앱도 agent가 화면을 직접 조작해 다룰 수 있습니다.
TypeSafe Computer Use: 누를 위치 고르기
한 AI agent 스타트업이 공개한 Navigator n2는 multimodal(화면 이미지와 텍스트를 함께 입력받는) computer-use(화면을 인식해 마우스와 키보드로 컴퓨터를 조작하는 방식) 모델로, OSWorld-v2에서 부분 정확도 65.2%, 작업당 약 $1.46을 기록…
Computer Use 81.8% 80.7% - 소폭 향상