Computer Use in Claude Code

Claude Code: Rewolucja w automatyzacji dzięki funkcji Computer Use

Claude Code to zaawansowane narzędzie wiersza poleceń (CLI), które w swojej najnowszej wersji wprowadza przełomową funkcjonalność: computer use. Pozwala ona sztucznej inteligencji wyjść poza ramy czystego kodu i zacząć operować bezpośrednio na interfejsie graficznym Twojego komputera. Dzięki Claude Code, model może teraz widzieć ekran, poruszać kursorem, klikać przyciski i wpisywać tekst w aplikacjach natywnych na systemie macOS.

Jest to funkcja typu research preview, dedykowana dla użytkowników planów Pro oraz Max, która integruje proces pisania kodu z jego natychmiastową weryfikacją w środowisku GUI.

Czym jest Computer Use w Claude Code?

Computer use wewnątrz Claude Code to wbudowany serwer MCP (Model Context Protocol), który daje Claude'owi możliwość interakcji z systemem operacyjnym w sposób, w jaki robi to człowiek. Zamiast ograniczać się do wykonywania poleceń w powłoce Bash, Claude Code może teraz uruchomić skompilowaną aplikację, nawigować po jej menu, a nawet testować symulatory iOS.

Narzędzie to zostało zaprojektowane, aby rozwiązywać problemy tam, gdzie tradycyjne API lub skrypty nie sięgają – w aplikacjach natywnych, narzędziach do projektowania czy panelach sterowania sprzętem.

Kluczowe funkcje (Features)

Funkcja computer use w Claude Code oferuje szeroki wachlarz możliwości, które znacząco przyspieszają workflow programistyczny:

• Budowanie i walidacja aplikacji natywnych: Claude może napisać kod w Swift, skompilować go, uruchomić aplikację i przeklikać wszystkie funkcje, aby upewnić się, że działają poprawnie.
• Testowanie UI typu End-to-End: Możesz zlecić Claude Code przetestowanie procesu rejestracji w aplikacji Electron bez konieczności konfigurowania Playwright czy innych frameworków testowych.
• Debugowanie układu i błędów wizualnych: Claude widzi to, co Ty. Jeśli element interfejsu ucina tekst na małych oknach, Claude Code zmieni rozmiar okna, wykona zrzut ekranu, zidentyfikuje błąd w CSS i zaproponuje poprawkę.
• Obsługa narzędzi tylko z GUI: Interakcja z symulatorem iOS, narzędziami projektowymi czy aplikacjami własnościowymi, które nie oferują dostępu przez terminal.
• Inteligentny wybór narzędzi: Claude zawsze stara się być precyzyjny. Najpierw próbuje użyć MCP lub Bash, a po computer use sięga tylko wtedy, gdy zadanie wymaga kontroli ekranu.

Przypadki użycia (Use Case)

Wdrożenie computer use w codziennej pracy z Claude Code otwiera nowe scenariusze automatyzacji:

1. Weryfikacja buildów: Po zmianie kodu, Claude uruchamia xcodebuild, otwiera okno preferencji aplikacji i sprawdza, czy suwak aktualizuje odpowiednią etykietę.
2. Reprodukcja błędów: Polecenie: „Modal ucina stopkę na wąskich oknach. Zmniejszaj okno, aż błąd wystąpi, zrób zrzut ekranu i sprawdź style CSS”.
3. Testowanie przepływów w symulatorze: Automatyczne przechodzenie przez ekrany onboardingu w symulatorze iOS i mierzenie czasu ładowania każdego z nich.

Jak korzystać z Computer Use w Claude Code (How to Use)

Aby zacząć korzystać z tej funkcji, należy przejść przez proces konfiguracji wewnątrz interaktywnej sesji Claude Code:

Krok 1: Włączenie serwera MCP

Uruchom w terminalu polecenie: /mcp Następnie znajdź na liście computer-use i wybierz opcję Enable. Ustawienie to zostanie zapisane dla danego projektu.

Krok 2: Nadanie uprawnień macOS

Przy pierwszej próbie użycia, system macOS poprosi o dostęp do:

• Dostępność (Accessibility): umożliwia klikanie i pisanie.
• Nagrywanie ekranu (Screen Recording): umożliwia Claude'owi „widzenie” pulpitu. Wskazówka: Może być wymagany restart Claude Code po nadaniu uprawnień.

Krok 3: Zatwierdzanie aplikacji w sesji

Przy każdej sesji, gdy Claude Code będzie chciał uzyskać dostęp do konkretnej aplikacji (np. Finder czy Xcode), w terminalu pojawi się monit o zgodę. Możesz zezwolić na dostęp jednorazowo dla danej sesji.

Krok 4: Zatrzymywanie działań

W dowolnym momencie możesz przerwać działanie Claude'a, naciskając klawisz Esc lub Ctrl+C w terminalu. Claude natychmiast zwolni blokadę ekranu i przywróci ukryte okna.

FAQ - Najczęściej zadawane pytania

Czy funkcja jest dostępna na systemach Windows lub Linux? Obecnie computer use w Claude Code jest dostępne wyłącznie na systemie macOS.

Dlaczego otrzymuję komunikat „Computer use is in use by another Claude session”? Tylko jedna sesja Claude Code może kontrolować ekran w tym samym czasie. Musisz zakończyć poprzednią sesję, aby rozpocząć nową.

Czy Claude widzi mój terminal podczas pracy? Nie. Okno terminala jest automatycznie wykluczane ze zrzutów ekranu, co chroni przed zapętleniem instrukcji (prompt injection) i zapewnia prywatność Twoich poleceń.

Jakie są wymagania techniczne? Wymagana jest wersja Claude Code v2.1.85 lub nowsza, plan Pro lub Max oraz aktywna subskrypcja na claude.ai.

Czy mogę używać tej funkcji w trybie nieinteraktywnym (z flagą -p)? Nie, funkcja ta wymaga interaktywnej sesji, aby użytkownik mógł zatwierdzać dostęp do aplikacji i monitorować działania AI.