Computer Use in Claude Code

클로드 코드(Claude Code) 컴퓨터 유스(Computer Use) 완벽 가이드

**클로드 코드(Claude Code)**의 혁신적인 기능인 **컴퓨터 유스(Computer Use)**를 사용하면 터미널을 떠나지 않고도 Claude가 macOS 앱을 직접 열고, 클릭하고, 타이핑하며 화면을 확인할 수 있습니다. 이 가이드는 CLI 환경에서 컴퓨터 유스 기능을 활성화하고 활용하여 개발 워크플로우를 극대화하는 방법을 상세히 설명합니다.

클로드 코드(Claude Code)와 컴퓨터 유스(Computer Use)란?

**클로드 코드(Claude Code)**의 컴퓨터 유스는 GUI(그래픽 사용자 인터페이스)가 필요한 작업을 처리하기 위한 최첨단 연구 프리뷰 기능입니다. 이 기능을 통해 Claude는 사람이 컴퓨터를 사용하는 것과 동일한 방식으로 화면을 제어할 수 있습니다. 예를 들어, Claude에게 Swift 앱을 빌드하도록 요청한 뒤, 해당 앱을 실행하고 모든 버튼을 클릭하여 결과를 스크린샷으로 확인하는 과정을 단일 대화 내에서 모두 수행할 수 있습니다.

이 기능은 현재 macOS 환경의 Pro 또는 Max 플랜 사용자에게 제공되며, 클로드 코드 v2.1.85 이상의 인터랙티브 세션에서 사용할 수 있습니다.

주요 기능 (Features)

컴퓨터 유스는 기존의 API나 CLI가 제공하지 못하는 시각적이고 인터랙티브한 영역을 담당합니다.

• 네이티브 앱 빌드 및 검증: Claude가 Swift 코드를 작성하고 컴파일한 후, 직접 앱을 실행하여 UI 컨트롤이 정상 작동하는지 확인합니다.
• 엔드 투 엔드(E2E) UI 테스트: Electron 앱 등 로컬 앱의 온보딩 흐름을 테스트하도록 지시할 수 있습니다. 별도의 테스트 프레임워크 설정 없이도 스크린샷을 찍으며 단계를 검증합니다.
• 시각적 및 레이아웃 버그 디버깅: 특정 창 크기에서 발생하는 레이아웃 깨짐 현상을 Claude가 직접 창 크기를 조절하며 재현하고, CSS를 수정하여 수정을 확인합니다.
• GUI 전용 도구 제어: API가 없는 디자인 도구, 하드웨어 제어판, iOS 시뮬레이터 등을 직접 조작할 수 있습니다.
• 지능적 도구 선택: Claude는 MCP 서버, Bash 명령, Chrome 확장 프로그램을 먼저 시도한 후, 이들로 해결할 수 없는 네이티브 앱 작업에만 컴퓨터 유스를 적용하여 효율성을 높입니다.

사용 사례 (Use Case)

1. 네이티브 빌드 검증

macOS 또는 iOS 앱의 변경 사항을 적용한 후 다음과 같이 요청할 수 있습니다:

"MenuBarStats 타겟을 빌드하고 실행한 뒤, 설정 창을 열어 인터벌 슬라이더가 레이블을 업데이트하는지 확인해줘. 완료되면 설정 창 스크린샷을 찍어줘."

2. 레이아웃 버그 재현

좁은 화면에서만 발생하는 UI 문제를 해결할 때 유용합니다:

"설정 모달의 푸터가 좁은 창에서 잘리는 버그가 있어. 앱 창 크기를 줄여서 재현하고 스크린샷을 찍은 뒤 모달 컨테이너의 CSS를 확인해줘."

3. 시뮬레이터 흐름 테스트

XCTest 작성 없이 시뮬레이터를 구동합니다:

"iOS 시뮬레이터를 열고 앱을 실행해서 온보딩 화면을 클릭해봐. 1초 이상 로딩되는 화면이 있는지 알려줘."

사용 방법 (How to Use)

1단계: 컴퓨터 유스 활성화

컴퓨터 유스는 기본적으로 비활성화되어 있는 내장 MCP 서버입니다.

1. 인터랙티브 세션에서 /mcp 명령어를 실행합니다.
2. 서버 목록에서 computer-use를 찾아 'Enable'을 선택합니다. 이 설정은 프로젝트별로 유지됩니다.

2단계: macOS 권한 부여

처음 기능을 사용할 때 두 가지 권한 승인이 필요합니다.

• 손쉬운 사용(Accessibility): Claude가 클릭, 타이핑, 스크롤할 수 있게 합니다.
• 화면 기록(Screen Recording): Claude가 화면을 볼 수 있게 합니다. 권한 부여 후 Try again을 선택하세요. 경우에 따라 클로드 코드를 재시작해야 할 수도 있습니다.

3단계: 세션별 앱 승인

보안을 위해 Claude가 특정 앱을 제어하려고 할 때마다 터미널에 승인 프롬프트가 표시됩니다. 여기서 접근을 허용하거나 거부할 수 있으며, 터미널이나 Finder 같이 광범위한 권한이 필요한 앱은 경고 메시지가 함께 표시됩니다.

보안 및 작동 원리

• 세션 잠금: 한 번에 하나의 클로드 코드 세션만 컴퓨터를 제어할 수 있습니다.
• 앱 숨기기: Claude가 작동하는 동안 승인되지 않은 다른 앱은 자동으로 숨겨져 프라이버시를 보호합니다.
• 터미널 제외: Claude는 자신의 출력이 포함된 터미널 창을 스크린샷에서 제외하여 피드백 루프를 방지합니다.
• 긴급 중단: 언제든지 Esc 키를 누르거나 터미널에서 Ctrl+C를 눌러 작동을 즉시 중단할 수 있습니다.

자주 묻는 질문 (FAQ)

Q: "Computer use is in use by another Claude session" 메시지가 뜹니다.

• A: 다른 세션에서 이미 컴퓨터 제어권을 가지고 있는 경우입니다. 해당 세션을 종료하거나 작업을 마쳐야 합니다. 크래시가 발생했다면 프로세스 종료 감지 후 자동으로 잠금이 해제됩니다.

Q: 왜 내 /mcp 목록에 computer-use가 보이지 않나요?

• A: macOS 사용 여부, 클로드 코드 버전(v2.1.85 이상), Pro/Max 플랜 가입 여부, claude.ai 직접 인증 여부를 확인하세요. Linux, Windows 및 제3자 제공자(Bedrock, Vertex AI 등)를 통한 접속은 현재 지원되지 않습니다.

Q: 데스크톱 앱과 CLI 버전의 차이점은 무엇인가요?

• A: 동일한 엔진을 사용하지만, CLI 버전은 현재 앱 거부 리스트 설정이나 자동 숨기기 토글 옵션이 항상 켜져 있는 등 인터페이스 구성에서 약간의 차이가 있습니다.