Computer Use in Claude Code

Claude Code: Native Computer Use für macOS-Entwickler via CLI

Einführung:

Claude Code ist ein leistungsstarkes CLI-Tool, das durch das neue 'Computer Use'-Feature erweitert wird. Es ermöglicht der KI, nativ auf macOS-Systemen zu agieren, Apps zu steuern, Bildschirminhalte zu analysieren und GUI-basierte Workflows direkt aus dem Terminal zu automatisieren. Ideal für UI-Tests, Debugging und die Validierung nativer Anwendungen.

Hinzugefügt:

2026-04-02

Monatliche Besucher:

14085.4K

Code und IT

Computer Use in Claude Code - AI Tool Screenshot and Interface Preview

Computer Use in Claude Code Produktinformationen

Claude Code: Computer Use in der CLI nutzen

Claude Code bietet mit der Funktion Computer Use eine bahnbrechende Möglichkeit für Entwickler, die Leistungsfähigkeit von Claude direkt auf ihrem macOS-Desktop einzusetzen. Während herkömmliche KI-Tools oft auf Text oder Code-Editoren beschränkt sind, kann Claude Code durch Computer Use Ihren Bildschirm „sehen“, Anwendungen öffnen, klicken und tippen – genau wie ein menschlicher Benutzer.

Was ist Computer Use?

Computer Use ist eine Research-Preview für macOS, die es Claude Code ermöglicht, über das Terminal hinaus mit der grafischen Benutzeroberfläche (GUI) Ihres Rechners zu interagieren. In einer interaktiven Claude Code Sitzung kann die KI native Apps kompilieren, starten und durch Screenshots validieren. Dies geschieht nahtlos in derselben Konversation, in der auch der Code geschrieben wurde.

Es handelt sich um ein integriertes Feature, das für Nutzer mit einem Pro oder Max Plan ab der Version v2.1.85 von Claude Code verfügbar ist. Es dient als Brückenteil für Aufgaben, die weder über Shell-Befehle noch über API-Schnittstellen gelöst werden können.

Features von Computer Use

Die Integration von Computer Use in Claude Code bringt spezialisierte Funktionen mit sich, die den Entwicklungsprozess auf macOS revolutionieren:

GUI-Interaktion: Claude kann Apps öffnen, scrollen, klicken und Text eingeben.
Visuelle Analyse: Die KI erstellt Screenshots, um Layout-Fehler zu identifizieren oder UI-Zustände zu prüfen.
Sicherheits-Sandbox: Claude sieht das Terminal-Fenster selbst nicht, um Feedback-Schleifen und Prompt-Injections zu vermeiden.
App-spezifische Freigaben: Sie behalten die volle Kontrolle darüber, welche Anwendungen Claude Code steuern darf.
Automatischer Fokus: Während Claude arbeitet, werden nicht benötigte Apps ausgeblendet, um eine saubere Interaktionsfläche zu gewährleisten.
Globaler Abbruch: Mit der Esc-Taste oder Strg+C kann jede Aktion von Claude Code sofort unterbrochen werden.

Use Case: Praktische Anwendungen

Computer Use in Claude Code ist besonders in Szenarien hilfreich, in denen herkömmliche Automatisierungstools an ihre Grenzen stoßen:

1. Validierung nativer Builds

Nachdem Claude Code Änderungen an einer Swift-App vorgenommen hat, kann die KI die Anwendung selbstständig bauen (xcodebuild), starten und durch die Menüs navigieren, um die Funktionalität zu bestätigen.

2. End-to-End UI-Tests

Anstatt komplexe Test-Harnesses wie Playwright zu konfigurieren, können Sie Claude Code anweisen: „Öffne meine Electron-App und teste den Onboarding-Prozess“. Claude führt die Schritte visuell aus und dokumentiert Fehler.

3. Debugging von Layout-Problemen

Wenn ein Element bei kleinen Fenstergrößen abgeschnitten wird, kann Claude Code das Fenster manuell in der GUI skalieren, das Problem visuell erfassen und anschließend den CSS-Code korrigieren.

4. Steuerung von GUI-Tools

Interagieren Sie mit Design-Tools, Hardware-Control-Panels oder dem iOS-Simulator, die keine CLI-Schnittstelle bieten.

How to Use: Computer Use aktivieren

Um Computer Use in Claude Code zu nutzen, folgen Sie diesen Schritten:

MCP-Menü öffnen: Starten Sie eine interaktive Claude Code Sitzung und geben Sie /mcp ein.
Server aktivieren: Suchen Sie den Eintrag computer-use in der Liste und wählen Sie „Enable“. Diese Einstellung wird pro Projekt gespeichert.
Berechtigungen erteilen: macOS wird Sie nach Zugriffen für Bedienungshilfen (Klicken/Tippen) und Bildschirmaufnahme (Sehen) fragen. Erteilen Sie beide Rechte in den Systemeinstellungen.
App-Freigabe: Wenn Claude Code eine App zum ersten Mal steuern möchte (z. B. den Finder oder Xcode), erscheint eine Aufforderung im Terminal. Bestätigen Sie diese mit „Allow“.

Hinweis: Falls die Berechtigungsabfrage wiederholt erscheint, starten Sie Claude Code komplett neu.

FAQ (Häufig gestellte Fragen)

F: Warum sehe ich computer-use nicht in meinem /mcp Menü? A: Stellen Sie sicher, dass Sie macOS nutzen, Claude Code v2.1.85+ installiert haben und über einen Pro oder Max Plan verfügen. Computer Use ist nicht für Linux oder Windows verfügbar.

F: Kann Claude auf alle meine Daten zugreifen? A: Nein. Claude Code kann nur auf Apps zugreifen, die Sie explizit pro Sitzung freigeben. Kritische Apps wie Terminals oder der Finder zeigen eine zusätzliche Warnung an.

F: Funktioniert Computer Use im nicht-interaktiven Modus? A: Nein, Computer Use erfordert eine interaktive Sitzung und ist nicht mit dem -p Flag verfügbar.

F: Was passiert, wenn zwei Instanzen von Claude Code gleichzeitig laufen? A: Computer Use nutzt eine maschinenweite Sperre. Nur eine Instanz kann zurzeit die Kontrolle über den Bildschirm übernehmen.

F: Werden meine Terminal-Eingaben von Claude gesehen? A: Nein. Das Terminal-Fenster wird automatisch aus allen Screenshots ausgeschlossen, die Claude Code zur Analyse anfertigt.

Alternatives Tools

Sheet Ninja

Sheet Ninja: Verwandeln Sie Google Sheets sofort in eine leistungsstarke Live-API für Ihre Anwendungen

Sheet Ninja ist das ultimative Tool für Entwickler und Vibe Coder, um Google Sheets als Backend-Datenbank zu nutzen. Erstellen Sie in Sekundenschnelle APIs ohne Server-Konfiguration. Ideal für KI-gestützte Projekte mit Lovable, Claude oder Replit. Verwalten Sie Daten direkt in Tabellen, während Ihre App in Echtzeit aktualisiert wird. Ob Waitlists, QR-Menüs oder interne Tools – Sheet Ninja macht die Softwareentwicklung schnell, einfach und kosteneffizient.

Code und IT

Claude Code auto-fix

Claude Code on the Web: Die KI-gestützte Cloud-Coding-Umgebung für effiziente Entwicklungs-Workflows

Claude Code on the web ist eine innovative Cloud-Plattform von Anthropic, die es Entwicklern ermöglicht, komplexe Programmieraufgaben asynchron in einer sicheren, verwalteten Infrastruktur auszuführen. Als Teil einer Forschungs-Vorschau erlaubt das Tool das Klonen von Repositories in isolierte virtuelle Maschinen, wo Claude Code eigenständig Code analysiert, Fehler behebt, Tests schreibt und Pull Requests vorbereitet. Mit Funktionen wie dem Diff-View zur Überprüfung von Änderungen, automatischen Fixes für CI-Fehler und der nahtlosen Integration zwischen Terminal und Weboberfläche optimiert es moderne DevOps-Zyklen. Die Lösung unterstützt gängige Programmiersprachen wie Python, Node.js und Rust und bietet flexible Netzwerk-Konfigurationen für maximale Sicherheit.

Code und IT

Agentation

Agentation: Visuelles Feedback-Tool für KI-Coding-Agenten

Agentation revolutioniert den Workflow mit KI-Coding-Agenten wie Claude Code oder Cursor. Durch die Umwandlung von UI-Annotationen in strukturierten Kontext ermöglicht es präzises Debugging und effiziente Frontend-Optimierung mittels CSS-Selektoren und Komponenten-Trees.

Code und IT

Drift

Drift: Der KI-Copilot für Robotik-Simulationen und ROS-Entwicklung

Drift ist ein innovativer KI-Copilot, der speziell für Forscher und Ingenieure in der Robotik entwickelt wurde. Die Plattform automatisiert die Erstellung, das Testen und das Debugging von Robotersimulationen durch natürliche Spracheingaben. Mit Drift lassen sich komplexe Aufgaben wie die Konfiguration von URDF-Dateien, Workspace-Setups und die Orchestrierung von ROS, Simulatoren und Plugins nahtlos bewältigen. Das Tool identifiziert Fehlerursachen in Echtzeit und bietet Lösungen für Steuerungsprobleme. Ob mobile Roboter mit Lidar oder komplexe Manipulatoren in Gazebo – Drift reduziert den Zeitaufwand für die Simulationsentwicklung drastisch und macht Entwickler zu 100x produktiver in der Simulation von Robotersystemen.

Code und IT

Zoer.ai

Zoer: Der KI-App-Builder zur Erstellung von Web-Anwendungen und Dashboards aus Datenbank-Schemas

Zoer ist eine innovative Plattform, die es ermöglicht, Datenbankschemata in Minutenschnelle in voll funktionsfähige Web-Anwendungen zu verwandeln. Mit Unterstützung für Opus 4.6 bietet Zoer einen KI-gestützten Coding-Assistenten, der Prototypen, Dashboards und Full-Stack-Apps erstellt. Die Plattform umfasst Funktionen wie Authentifizierung, Stripe-Zahlungsintegration und einen Copiloten für effiziente Softwareentwicklung.

Code und IT

Silicon Friendly

Silicon Friendly: Die Plattform zur Bewertung und Optimierung der KI-Agenten-Kompatibilität von Webseiten.

Silicon Friendly bietet ein innovatives Framework, um die Zugänglichkeit von Webseiten für KI-Agenten zu messen. Durch 30 spezifische Prüfpunkte in 5 Reifegradstufen – von der Basis-Lesbarkeit (L1) bis hin zum autonomen Betrieb (L5) – hilft das Tool Entwicklern dabei, ihre Inhalte für Large Language Models und Agenten zu optimieren. Mit dem Slogan 'Making the web work for AI agents' stellt Silicon Friendly Ressourcen wie llms.txt und agent.json bereit, um die Interaktion zwischen Mensch, Maschine und Internet effizienter zu gestalten. Nutzer können ihre URL prüfen lassen, Scores vergleichen und sich in einem Verzeichnis zertifizierter Webseiten einordnen, um die Sichtbarkeit in der KI-gesteuerten digitalen Zukunft zu erhöhen.

Code und IT

Context.dev

Context.dev: Die ultimative Web-Kontext API für LLMs, Datenanreicherung und KI-Automatisierung.

Context.dev (ehemals Brand.dev) bietet eine leistungsstarke API, um das Web in Echtzeit zu scrapen, zu strukturieren und anzureichern. Entwickler nutzen Context.dev, um KI-Modelle mit Live-Web-Daten zu füttern, Onboarding-Prozesse zu personalisieren und Unternehmensprofile automatisch zu vervollständigen. Mit Funktionen wie Markdown-Extraktion, Sitemap-Crawling und Marken-Metadaten ist es die ideale Lösung für RAG-Pipelines und moderne SaaS-Anwendungen.

Code und IT

Edgee Claude Code Compression

Edgee Claude Code Compressor: Maximieren Sie Ihr Claude Pro Abonnement durch intelligente Token-Kompression

Entdecken Sie den Edgee Claude Code Compressor, die innovative Lösung von Edgee, die Ihr Claude Pro Plan-Limit um 26,5 % verlängert. Durch das AI Gateway optimiert Edgee die Kommunikation zwischen Claude Code und der Anthropic API, indem Redundanzen im Kontext gestrichen werden, ohne die semantische Treue zu beeinträchtigen. Dies ermöglicht Entwicklern, mehr Aufgaben pro Sitzung zu erledigen, die Kosten pro Instruktion zu senken und Arbeitsunterbrechungen durch erschöpfte Kontingente zu vermeiden. Ideal für Power-User von Claude Code.

Code und IT

Loading related products...