Computer Use in Claude Code

Claude Code Computer Use: GUI-automatisering via de CLI

Met de introductie van Claude Code Computer Use wordt de kloof tussen tekstgebaseerde code-ontwikkeling en grafische interactie definitief gedicht. Claude Code stelt ontwikkelaars nu in staat om Claude direct op hun macOS-systeem te laten werken, net zoals een menselijke gebruiker dat zou doen. Of het nu gaat om het bouwen van een Swift-app of het testen van een complexe UI-flow, Claude Code Computer Use biedt de nodige schermcontrole zonder dat u de terminal hoeft te verlaten.

Wat is Claude Code Computer Use?

Claude Code Computer Use is een geavanceerde research preview-functie die beschikbaar is binnen de Claude Code CLI. Het stelt Claude in staat om visuele elementen op uw scherm te 'zien', applicaties te openen, tekst te typen, te klikken en te scrollen. Waar traditionele tools beperkt blijven tot de command-line of API-aanroepen, kan Claude Code Computer Use overweg met native macOS-applicaties, simulators en grafische tools die geen alternatieve interface hebben.

Deze functionaliteit is specifiek ontworpen voor macOS en vereist een Claude Pro of Max abonnement. Het werkt via een ingebouwde Model Context Protocol (MCP) server die handmatige GUI-taken automatiseert binnen uw bestaande ontwikkelworkflow.

Belangrijke Kenmerken van Claude Code Computer Use

De kracht van Claude Code ligt in de veelzijdigheid van de automatiseringstools. Hier zijn de belangrijkste kenmerken:

• Native App Interactie: Claude kan native macOS-apps compileren, starten en bedienen.
• Visuele Feedback: Door middel van screenshots kan Claude Code visuele fouten detecteren en lay-outproblemen analyseren.
• Sessiebeheer: Per sessie keurt u specifiek goed welke apps Claude mag besturen, wat zorgt voor een veilige werkomgeving.
• Focus Modus: Tijdens het gebruik worden andere apps verborgen, zodat Claude Code zich uitsluitend richt op de goedgekeurde taken.
• Directe Controle: Met de Esc-toets of Ctrl+C kunt u de acties van Claude op elk moment onmiddellijk afbreken.
• Intelligente Gereedschapskeuze: Claude geeft altijd de voorkeur aan de meest nauwkeurige methode (zoals Bash of MCP) en gebruikt Computer Use alleen wanneer een grafische interface noodzakelijk is.

Use Cases voor Claude Code

Claude Code Computer Use is uitermate geschikt voor scenario's waarbij menselijke interactie met een scherm normaal gesproken vereist is:

1. Validatie van Native Builds

Laat Claude Code een Swift-applicatie bouwen, de menubalk-app openen en door de instellingen klikken om te verifiëren of alles naar behoren functioneert, inclusief visuele bevestiging via screenshots.

2. End-to-end UI-testen

In plaats van complexe Playwright-configuraties kunt u Claude Code simpelweg vragen om een lokale Electron-app te testen. De AI doorloopt de onboarding-flow en legt elke stap vast.

3. Debuggen van Lay-outfouten

Bij visuele clipping-fouten op specifieke schermformaten kan Claude Code het venster verkleinen tot de fout optreedt, de CSS patchen en direct controleren of de fix werkt.

4. Bediening van GUI-only Tools

Interactie met iOS Simulators, hardware-controlepanelen of eigen bedrijfsapplicaties die geen CLI of API ondersteunen, wordt volledig automatiseerbaar.

Hoe te Gebruiken

Volg deze stappen om Claude Code Computer Use te activeren en te gebruiken op uw systeem:

Stap 1: Activeer de MCP-server

Open een interactieve sessie in de terminal en voer het volgende commando uit:

/mcp
Zoek naar computer-use in de lijst en selecteer Enable. Deze instelling blijft behouden per project.

Stap 2: Verleen macOS-permissies

Bij de eerste poging zal macOS vragen om toegankelijkheid (Accessibility) en schermopname (Screen Recording). Schakel beide in via Systeeminstellingen. Start Claude Code indien nodig opnieuw op.

Stap 3: Start een Taak

Geef Claude een opdracht die een GUI vereist, bijvoorbeeld: "Bouw de app, start deze en klik door elk tabblad om te controleren op crashes. Maak screenshots van eventuele fouten."

Stap 4: Goedkeuring per Sessie

Claude vraagt per sessie toestemming voor de specifieke apps die hij wil besturen. Kies voor Allow om de toegang te verlenen.

Veiligheid en de Trust Boundary

Veiligheid staat centraal bij Claude Code. In tegenstelling tot de gesandboxte Bash-tool, werkt Computer Use op uw actuele desktop. Daarom zijn er strikte waarborgen:

• App-specifieke goedkeuring: Claude heeft alleen toegang tot apps die u expliciet toestaat.
• Sentinel Waarschuwingen: Apps met toegang tot het bestandssysteem of systeeminstellingen krijgen een extra waarschuwing.
• Terminal Privacy: De terminal waarin de sessie draait wordt automatisch uitgesloten van screenshots, zodat Claude zijn eigen output niet kan zien.
• Lock-mechanisme: Slechts één sessie tegelijk kan de controle over de computer overnemen.

Veelgestelde Vragen (FAQ)

V: Waarom staat 'computer-use' niet in mijn /mcp lijst?
A: Controleer of u voldoet aan de eisen: u moet op macOS werken, versie v2.1.85 of hoger gebruiken, een Pro of Max abonnement hebben en ingelogd zijn via claude.ai.

V: Is Computer Use beschikbaar op Windows of Linux?
A: Nee, momenteel is deze research preview uitsluitend beschikbaar voor macOS.

V: Wat moet ik doen als de melding "Computer use is in use by another Claude session" verschijnt?
A: Dit betekent dat een andere sessie de controle-lock vasthoudt. Sluit de andere sessie af of wacht tot deze voltooid is.

V: Kan ik de acties van Claude onderbreken?
A: Ja, u kunt op elk moment op de Esc-toets drukken of Ctrl+C gebruiken in de terminal om de controle onmiddellijk terug te krijgen.