앤트로픽 클로드 컴퓨터 제어 지원, 폰으로 지시하고 데스크톱서 완료

출근길 지하철에서 스마트폰으로 지시를 남겨두고 사무실에 도착해 컴퓨터를 켜면, 이미 코드 테스트가 끝나고 풀 리퀘스트까지 올라와 있는 장면이 현실로 다가왔습니다.

Anthropic은 Claude Cowork와 Claude Code에서 PC를 직접 조작할 수 있는 컴퓨터 제어 기능을 리서치 프리뷰 형태로 출시했습니다. 해당 기능은 Claude Pro 및 Claude Max 구독자를 대상으로 제공됩니다.

API가 없어도 화면을 직접 보고 클릭한다

이번 기능의 핵심은 별도의 복잡한 연동 설정 없이도 Claude가 사람처럼 마우스를 움직이고 클릭하며 화면을 스크롤한다는 점입니다. 로컬 파일을 열고 웹 브라우저를 탐색하며 개발자 도구를 실행하는 작업을 스스로 수행합니다.

Claude는 작업할 때 가장 정밀한 도구를 먼저 찾습니다. Slack이나 Google Calendar처럼 전용 커넥터가 지원되는 서비스는 API를 우선 호출하고, 연동 수단이 없을 때만 직접 화면과 마우스, 키보드를 제어하는 방식으로 전환합니다.

직접 화면을 보며 조작하는 방식은 API 연동보다 속도가 느리고, 복잡한 작업은 다시 시도해야 할 수도 있다고 Anthropic 측은 밝혔습니다.

보안 대책도 포함됐습니다. 프롬프트 인젝션 공격을 감지하기 위해 모델 내부 활성화 상태를 자동 스캔하며, 새 애플리케이션에 접근할 때는 항상 사용자의 명시적 허가를 받도록 설계했습니다. 민감한 데이터가 포함된 일부 앱은 기본적으로 접근이 차단됩니다.

스마트폰으로 맡기고 PC에서 확인하기

화면 제어 기술 자체는 이전에도 공개된 바 있지만, 이번 업데이트의 핵심은 지난주 선보인 디스패치 기능과의 결합에 있습니다. 디스패치는 모바일과 데스크톱 간에 동일한 대화를 이어갈 수 있도록 돕는 기능입니다.

사용자는 이동 중에 스마트폰으로 모닝 브리핑 작성을 지시하거나 주간 데이터 추출, 리포트 생성 작업을 맡길 수 있습니다. 그러면 켜져 있는 데스크톱 PC에서 Claude가 작업을 처리해 둡니다.

기능을 쓰려면 데스크톱 앱이 활성화된 상태여야 합니다. 지원 환경과 관련해 The Verge는 이번 리서치 프리뷰가 현재 macOS 기기로 제한되어 있다고 전했습니다.

왜 중요한가

Anthropic의 이번 행보는 AI 에이전트의 현실적인 보급을 가로막던 가장 큰 장벽을 영리하게 우회한 방식이라고 봅니다.

기존 자동화 도구들은 모든 소프트웨어가 표준 API를 제공해야 작동할 수 있었습니다. 하지만 현실의 수많은 업무 도구와 사내 시스템은 연동 기능을 갖추지 못했습니다. Claude가 사람처럼 화면 픽셀을 인식하고 클릭하게 만듦으로써 연동 개발 비용을 사실상 없앤 셈입니다.

스마트폰으로 지시하고 자리를 비워도 PC가 혼자 일하는 구조는 사용자가 프롬프트 생성 과정을 멍하니 지켜볼 필요를 없애 줍니다.

다만 화면 제어 방식은 UI 지연이나 예기치 않은 팝업에 취약하며 작업 속도도 확실히 떨어집니다. 화면 접근 권한을 AI에 전적으로 넘기는 데서 오는 보안 위험도 남아 있습니다. 지금 당장은 민감한 데이터가 없는 일상적인 반복 작업 위주로 가볍게 시험해 보는 것이 바람직해 보입니다.