Computer Use in Claude Code

Optimisez votre flux de travail avec Claude Code et la fonction Computer Use

Le développement moderne exige des outils capables de franchir la barrière entre le code et l'interface utilisateur. Avec l'introduction de Claude Code, et plus particulièrement de la fonctionnalité Computer Use, Anthropic propose une solution révolutionnaire permettant à l'IA de manipuler directement votre environnement macOS. Que ce soit pour tester une application native ou déboguer un problème d'affichage, Claude Code transforme votre terminal en un centre de commande intelligent.

Qu'est-ce que Claude Code Computer Use ?

Claude Code est une interface en ligne de commande (CLI) qui intègre désormais la fonction Computer Use. Il s'agit d'une version préliminaire de recherche (research preview) disponible exclusivement sur macOS pour les utilisateurs disposant d'un forfait Pro ou Max.

Contrairement aux outils classiques, Claude Code avec Computer Use permet à Claude d'ouvrir des applications, de contrôler votre écran et de travailler sur votre machine exactement comme vous le feriez. Il peut compiler une application, la lancer, cliquer sur chaque bouton et analyser le résultat visuel, le tout au sein d'une même conversation.

Caractéristiques principales de Claude Code

L'intégration de Computer Use dans Claude Code apporte des capacités inédites :

• Interaction GUI native : Claude peut interagir avec des outils de conception, des simulateurs iOS ou des applications propriétaires sans API.
• Serveur MCP intégré : La fonction est gérée via un serveur MCP (Model Context Protocol) dédié nommé computer-use.
• Sécurité et contrôle : L'utilisateur doit approuver chaque application par session. Claude ne voit jamais la fenêtre du terminal pour éviter les boucles de rétroaction.
• Verrouillage de session : Pour garantir la stabilité, une seule session Claude Code peut contrôler l'ordinateur à la fois.
• Priorisation intelligente des outils : Claude utilise d'abord Bash ou des serveurs MCP spécifiques avant de recourir à l'utilisation globale de l'ordinateur, plus lente mais plus large.

Cas d'utilisation (Use Case)

L'utilisation de Claude Code s'avère indispensable dans plusieurs scénarios de développement :

Validation de builds natifs

Demandez à Claude Code de construire un projet Swift, de lancer l'application et de vérifier manuellement que les menus et curseurs fonctionnent correctement.

Tests UI de bout en bout

Sans configurer Playwright, pointez Claude Code vers une application Electron. L'IA peut effectuer un cycle d'inscription complet et capturer chaque étape pour validation.

Débogage visuel et mise en page

Si un pied de page est coupé sur un petit écran, Claude Code peut redimensionner la fenêtre, reproduire le bug visuellement, modifier le CSS et vérifier la correction immédiatement.

Pilotage de simulateurs

Utilisez le simulateur iOS sans écrire de tests XCTest complexes. Claude peut naviguer dans les écrans d'onboarding et signaler les lenteurs de chargement.

Comment utiliser Computer Use dans Claude Code

Pour activer cette fonctionnalité dans votre environnement Claude Code, suivez ces étapes :

1. Ouvrez le menu MCP : Dans une session interactive, tapez /mcp.
2. Activez le serveur : Recherchez computer-use dans la liste et sélectionnez Enable. Cette configuration est persistante par projet.
3. Accordez les permissions macOS : Lors de la première tentative, autorisez l'Accessibilité (pour cliquer/taper) et l'Enregistrement de l'écran dans les réglages système.
4. Approuvez les applications : Au cours d'une session, Claude Code vous demandera l'autorisation d'accéder à des applications spécifiques (Finder, IDE, etc.).

Note importante : Si vous modifiez les permissions de Screen Recording, macOS peut nécessiter un redémarrage de Claude Code.

FAQ (Foire aux questions)

Pourquoi l'option computer-use n'apparaît-elle pas dans /mcp ?

Assurez-vous de remplir les conditions suivantes :

• Utiliser macOS (non disponible sur Linux/Windows).
• Posséder Claude Code v2.1.85 ou plus récent.
• Avoir un abonnement Pro ou Max (les comptes Team/Enterprise ne sont pas éligibles).
• Être authentifié via claude.ai (les fournisseurs tiers comme Bedrock ou Vertex AI ne sont pas supportés).

Comment arrêter Claude s'il fait une erreur sur mon écran ?

Vous pouvez interrompre Claude Code à tout moment en appuyant sur la touche Echap (Esc) de votre clavier ou en faisant Ctrl+C dans le terminal. Claude relâchera immédiatement le contrôle et restaurera vos fenêtres masquées.

Est-ce que Claude peut voir mes fichiers privés ?

Claude ne peut contrôler que les applications que vous avez explicitement approuvées pour la session en cours. Des avertissements spécifiques s'affichent pour les applications sensibles comme le Finder ou les Réglages Système.

Que signifie le message "Computer use is in use by another Claude session" ?

Cela signifie qu'une autre instance de Claude Code verrouille actuellement l'accès à l'écran. Vous devez terminer cette session avant d'en commencer une nouvelle.

Quelles sont les différences avec l'application Desktop ?

Bien que le moteur soit le même, le CLI ne permet pas encore de configurer une liste d'applications refusées ou de désactiver le masquage automatique des fenêtres, contrairement à la version Desktop de Claude.