Claude Computer Use 2026 — 폰에서 맥을 조종하는 AI 에이전트

아이폰에서 문자 하나 보냈더니 집에 있는 맥북이 Numbers를 열고, 30개 셀에 데이터를 채우고, 파일을 저장했다. 사람 손이 키보드를 건드린 적은 한 번도 없다. 3월 24일, Anthropic이 출시한 Claude Computer Use가 만든 장면이다.

폰에서 맥을 조종한다는 것

Claude Dispatch 가이드에서 다룬 Dispatch는 폰에서 Claude에게 메시지를 보내는 기능이었다. Computer Use는 그 메시지를 받은 Claude가 실제로 맥 위에서 행동하는 기능이다. 앱을 열고, 마우스를 클릭하고, 텍스트를 입력한다. 원격 데스크톱과 비슷하지만, 조종하는 주체가 사람이 아니라 AI라는 점이 결정적으로 다르다.

macOS 전용이다. Windows와 Linux는 아직 지원하지 않는다. Pro 또는 Max 구독자만 쓸 수 있고, Claude Cowork 소개에서 설명한 Cowork 환경 안에서 동작한다.

작동 원리 — 스크린샷 루프

Computer Use의 핵심 메커니즘은 놀라울 정도로 단순하다. Claude가 맥 화면의 스크린샷을 찍고, 그 이미지를 분석해서 다음 액션을 결정하고, 시스템 이벤트를 발생시킨다. 이 루프가 수백 밀리초 단위로 반복된다.

┌─────────────┐     ┌─────────────┐     ┌─────────────┐
│  Screenshot │ ──→ │  Vision     │ ──→ │  Action     │
│  Capture    │     │  Analysis   │     │  Execute    │
└─────────────┘     └─────────────┘     └──────┬──────┘
       ↑                                        │
       └────────────────────────────────────────┘
                    반복 (Loop)

사람이 화면을 보고 마우스를 움직이는 것과 구조적으로 같다. 차이는 속도와 정확도다. Claude는 화면 위의 버튼, 메뉴, 입력 필드를 픽셀 단위로 인식한다. 접근성 API를 함께 사용하기 때문에 보이지 않는 UI 요소도 파악할 수 있다.

실제 시나리오 — 무엇을 시킬 수 있나

Dispatch로 아이폰에서 메시지를 보내는 순간부터 Computer Use가 작동한다. 출퇴근 지하철에서 "오늘 미팅 자료 준비해줘"라고 보내면, Claude가 맥에서 캘린더를 열어 일정을 확인하고, 브라우저에서 관련 자료를 검색하고, Keynote에서 슬라이드 초안을 만든다.

스프레드시트 작업은 Computer Use의 강점이 두드러지는 영역이다. "지난달 매출 데이터를 정리해줘"라고 하면 Claude가 Numbers나 Excel을 열고, 데이터를 입력하고, 수식을 넣고, 차트까지 생성한다. 기존에 사람이 30분 걸리던 작업을 Claude는 2-3분 안에 끝낸다.

브라우저 탐색도 가능하다. 특정 사이트에서 정보를 수집하거나, 폼을 작성하거나, 파일을 다운로드하는 일을 맡길 수 있다. 다만 Anthropic은 신뢰할 수 있는 앱부터 시작하라고 권장한다.

보안 — 새 앱 접근 시 허가 요청

Computer Use에서 가장 중요한 설계 결정은 권한 모델이다. Claude가 처음 접근하는 앱이 있으면 반드시 사용자에게 허가를 요청한다. 폰에 알림이 오고, 승인 버튼을 눌러야 진행된다.

┌──────────────────────────────────────────────┐
│  Before Computer Use    │  After             │
├──────────────────────────────────────────────┤
│  사람이 직접 조작       │  Claude가 대신 조작 │
│  앱별 권한 없음         │  앱별 허가 필요     │
│  실시간 감시 불가       │  모든 액션 로그 기록 │
│  실수하면 되돌리기 어려움│  액션 전 확인 가능  │
└──────────────────────────────────────────────┘

이 구조는 양날의 검이다. 보안은 강화되지만 자동화의 흐름이 끊길 수 있다. 자주 쓰는 앱은 미리 허가 목록에 등록해두는 것이 실용적이다. Anthropic은 "Computer Use는 아직 초기 단계"라고 명시하면서, 민감한 데이터가 있는 앱에서는 신중하게 사용하라고 경고했다.

OpenClaw과의 경쟁 구도

Computer Use가 겨냥하는 경쟁자는 OpenAI의 OpenClaw다. 둘 다 AI가 데스크톱을 조작한다는 점에서 같은 카테고리에 속하지만, 접근 방식이 다르다.

Claude Computer Use는 Dispatch와 결합해서 모바일-데스크톱 연결에 집중한다. 폰에서 지시하고 맥에서 실행하는 워크플로우가 핵심이다. OpenClaw은 데스크톱 안에서의 자동화에 더 무게를 둔다. 어떤 방향이 사용자에게 더 자연스러운지는 앞으로 시장이 판단할 것이다.

한계 — 아직 초기 단계

Anthropic 스스로 인정한 것처럼 Computer Use는 초기 단계다. 복잡한 멀티스텝 작업에서 실수할 수 있고, 예상치 못한 팝업이 뜨면 당황하기도 한다. 화면 해상도가 바뀌거나 다크모드/라이트모드 전환이 일어나면 인식 정확도가 떨어질 수 있다.

가장 큰 제약은 macOS 전용이라는 점이다. 개발자 중 상당수가 리눅스를 쓰고, 기업 환경에서는 Windows가 압도적이다. Anthropic이 크로스 플랫폼 지원을 얼마나 빠르게 확장하느냐가 Computer Use의 대중화를 결정할 것이다.

네트워크 연결도 필수다. 맥이 인터넷에 연결되어 있어야 하고, 폰도 데이터 통신이 가능해야 한다. 오프라인 환경에서는 사용할 수 없다.

실전 팁 — 처음 쓸 때 이렇게 시작하라

Computer Use를 처음 설정할 때는 단순한 작업부터 시작하는 것이 현명하다. 파일 열기, 텍스트 복사, 간단한 검색 같은 작업으로 Claude가 맥 환경에 적응하는 과정을 지켜보는 것이 좋다. 복잡한 멀티앱 워크플로우는 각 앱에 대한 허가가 완료되고 기본 동작이 안정적인 것을 확인한 뒤에 시도해야 한다.

Dispatch를 통해 보내는 지시는 구체적일수록 좋다. "자료 정리해줘"보다 "Downloads 폴더의 sales-2026-02.csv를 Numbers에서 열고, A열 기준으로 정렬해줘"가 훨씬 정확한 결과를 만든다. AI에게 맥락을 충분히 제공하는 것은 사람에게 업무를 위임할 때와 다르지 않다.

의미 — 에이전트 시대의 진짜 시작

Computer Use가 중요한 이유는 AI가 텍스트 생성을 넘어서 물리적 환경에 개입하기 시작했다는 데 있다. 채팅창 안에서 답변을 생성하는 것과 실제 앱을 열어 작업을 수행하는 것 사이에는 근본적인 차이가 있다. 전자는 조언이고, 후자는 실행이다.

Anthropic의 전략은 명확하다. Cowork으로 프레임워크를 만들고, Dispatch로 접점을 확보하고, Computer Use로 실행력을 부여한다. 이 세 조각이 맞물리면 Claude는 단순한 챗봇에서 진짜 디지털 비서로 진화한다. 그리고 그 비서는 이미 당신의 맥북 앞에 앉아 있다.

Computer Use는 AI가 우리 대신 일하는 시대의 가장 구체적인 첫 장면이다.

출처: CNBC, MacRumors, SiliconAngle

당신이 Computer Use에게 맡기고 싶은 첫 번째 작업은 무엇인가?

매일 아침 AI 뉴스를 이메일로 받아보세요. spoonai.me 뉴스레터 구독