Computer Use in Claude Code

Claude Code и функция Computer Use: Полное руководство по автоматизации GUI

Claude Code — это мощный интерфейс командной строки (CLI), который теперь поддерживает революционную функцию Computer Use. Эта возможность позволяет Claude выходить за пределы терминала и взаимодействовать с графическим интерфейсом вашей операционной системы macOS так же, как это делает человек.

Что такое Claude Code Computer Use?

Computer Use в составе Claude Code — это исследовательская функция, доступная для пользователей с подпиской Pro или Max. Она превращает Claude из простого помощника по написанию кода в активного оператора вашей системы. С помощью этого инструмента Claude может открывать нативные приложения, управлять курсором, вводить текст и анализировать происходящее на экране в режиме реального времени.

В отличие от стандартных инструментов автоматизации, Claude Code использует визуальное восприятие и интеллектуальное планирование, чтобы выполнять сложные задачи в приложениях, не имеющих API или CLI-интерфейса.

Основные возможности (Features)

Функционал Computer Use предоставляет глубокую интеграцию с macOS:

• Управление экраном: Claude видит ваш рабочий стол и может идентифицировать элементы управления в нативных приложениях.
• Интерактивные действия: Поддержка кликов, прокрутки и ввода текста с клавиатуры.
• Снятие скриншотов: Автоматическая фиксация состояния экрана для визуальной верификации или отладки.
• Интеграция с MCP: Функция реализована как встроенный сервер протокола Model Context Protocol (MCP).
• Безопасность и контроль: Система посессионного одобрения доступа к конкретным приложениям и глобальная клавиша отмены (Esc).
• Изоляция сессий: Механизм блокировки гарантирует, что только одна сессия Claude Code может управлять компьютером в данный момент.

Кейсы использования (Use Case)

1. Валидация нативных сборок

После внесения изменений в код Swift для приложения macOS, вы можете попросить Claude Code скомпилировать проект, запустить его и проверить работу конкретных элементов интерфейса (например, слайдеров или кнопок) без ручного вмешательства.

2. Сквозное UI-тестирование

Claude может тестировать локальные Electron-приложения, проходя через процесс регистрации или онбординга. Это исключает необходимость сложной настройки Playwright или других фреймворков для простых тестов.

3. Отладка визуальных багов

Если модальное окно некорректно отображается при изменении размера окна, Claude может самостоятельно изменить размер приложения, воспроизвести баг, сделать скриншот и проанализировать CSS для поиска решения.

4. Работа с инструментами без API

Управление симуляторами iOS, дизайнерскими инструментами или проприетарными панелями управления оборудованием, которые поддерживают только графический интерфейс.

Как использовать (How to Use)

Для активации Computer Use в вашем проекте следуйте инструкции:

Шаг 1: Включение сервера MCP

В интерактивной сессии Claude Code выполните команду:

/mcp

Найдите в списке сервер computer-use и выберите Enable.

Шаг 2: Настройка разрешений macOS

При первой попытке использования Claude запросит доступ к:

1. Accessibility (Универсальный доступ): для управления кликами и вводом.
2. Screen Recording (Запись экрана): для визуального анализа. Предоставьте разрешения в Системных настройках macOS и перезапустите терминал, если потребуется.

Шаг 3: Одобрение приложений

В начале каждой сессии Claude будет запрашивать разрешение на управление конкретными приложениями (например, Finder или Xcode). Вы можете разрешить или запретить доступ для текущей сессии.

Шаг 4: Управление процессом

Во время работы Claude ваши окна (кроме терминала) будут скрыты для чистоты взаимодействия. Вы можете в любой момент прервать процесс нажатием клавиши Esc или Ctrl+C.

Часто задаваемые вопросы (FAQ)

На каких операционных системах работает Computer Use?

На данный момент функция доступна исключительно на macOS. Поддержка Linux и Windows не предусмотрена в текущей версии.

Какие планы подписки поддерживают эту функцию?

Функция доступна только для пользователей Claude Pro и Claude Max. Она не работает на планах Team или Enterprise.

Почему я не вижу computer-use в списке /mcp?

Убедитесь, что:

• Вы используете Claude Code v2.1.85 или выше.
• Вы авторизованы через claude.ai (сторонние провайдеры, такие как Bedrock или Vertex AI, не поддерживаются).
• Вы находитесь в интерактивном режиме (без флага -p).

Безопасно ли это?

Да, Claude Code реализует несколько уровней защиты: терминал исключается из скриншотов, доступ к критическим приложениям (Finder, Terminal) сопровождается дополнительным предупреждением, а пользователь всегда может мгновенно остановить выполнение командой Escape.

Может ли Claude видеть мой пароль в терминале?

Нет, окно терминала автоматически исключается из области видимости Claude, поэтому он не видит собственных команд или выводимых в консоль данных.