Computer Use in Claude Code

Claude Code y la función Computer Use: Automatización total desde tu terminal

Claude Code ha evolucionado para ofrecer una capacidad revolucionaria: Computer Use. Esta funcionalidad permite que Claude interactúe con tu entorno de escritorio en macOS de la misma manera que lo haría un humano. Ya no se trata solo de escribir código o ejecutar scripts; con Claude Code, la IA puede abrir aplicaciones, mover el cursor, hacer clic y observar tu pantalla para completar tareas complejas que antes requerían intervención manual.

¿Qué es Claude Code con Computer Use?

Claude Code es una herramienta de CLI que ahora incluye el servidor MCP integrado computer-use. Esta tecnología es un avance en la automatización que permite a Claude salir del entorno restringido de la terminal para operar en la interfaz gráfica de usuario (GUI) de macOS.

Con Claude Code, puedes pedirle al modelo que compile una aplicación en Swift, la ejecute, pruebe cada botón y realice capturas de pantalla de los resultados, todo dentro de la misma conversación donde se generó el código original. Es una herramienta indispensable para desarrolladores que necesitan validar software nativo o depurar errores visuales en tiempo real.

Características principales de Claude Code

El uso de Claude Code y su función de control de computadora ofrece capacidades únicas diseñadas para la eficiencia del desarrollador:

• Interacción Nativa con macOS: Claude puede realizar clics, escribir texto y desplazarse por cualquier aplicación aprobada.
• Visión de Pantalla: Gracias al permiso de grabación de pantalla, Claude ve lo que tú ves, permitiéndole identificar errores de diseño o estados de carga.
• Gestión de Permisos Granulares: El sistema requiere autorización de Accesibilidad y Grabación de Pantalla, además de aprobaciones específicas por aplicación en cada sesión.
• Control de Bloqueo de Sesión: Para garantizar la integridad, solo una sesión de Claude Code puede controlar la máquina a la vez.
• Seguridad y Privacidad: La terminal está excluida de las capturas de pantalla, evitando que Claude vea su propia salida o información sensible del prompt.
• Interrupción Inmediata: El usuario mantiene el control total, pudiendo detener cualquier acción de Claude presionando la tecla Esc o Ctrl+C.

Casos de Uso de Claude Code

Claude Code destaca en situaciones donde las herramientas de línea de comandos tradicionales se quedan cortas:

• Validación de Builds Nativos: Claude puede construir un target en Xcode, lanzar la aplicación y verificar que los elementos de la interfaz funcionen correctamente.
• Pruebas de UI de Extremo a Extremo: Sin necesidad de configurar frameworks complejos como Playwright, puedes pedirle a Claude Code que pruebe el flujo de registro en una app de Electron.
• Depuración de Errores de Diseño: Si un modal se corta en ventanas pequeñas, Claude puede redimensionar la ventana, reproducir el error y parchear el CSS correspondiente.
• Control de Herramientas sin API: Interactúa con paneles de control de hardware, simuladores de iOS o software propietario que solo ofrece una interfaz gráfica.

Cómo usar Computer Use en Claude Code

Para activar estas capacidades en tu flujo de trabajo, sigue estos pasos dentro de una sesión interactiva de Claude Code:

1. Habilitar el servidor MCP

Ejecuta el comando /mcp en tu terminal. Busca computer-use en la lista de servidores (aparecerá como desactivado por defecto) y selecciona Enable. Esta configuración se guarda por proyecto.

2. Otorgar permisos de macOS

La primera vez que Claude Code intente interactuar con el sistema, macOS solicitará acceso a:

• Accesibilidad: Permite clics, escritura y scroll.
• Grabación de pantalla: Permite que Claude visualice el contenido de la GUI.

3. Aprobar aplicaciones por sesión

Cuando Claude necesite abrir una app específica (como Finder o un simulador), aparecerá un aviso en la terminal. Deberás elegir Allow para esa sesión específica. Ten en cuenta que algunas apps (como Terminales o Finder) mostrarán advertencias adicionales debido a su nivel de acceso al sistema.

Preguntas Frecuentes (FAQ)

¿En qué plataformas está disponible Computer Use de Claude Code? Actualmente, es una vista previa de investigación disponible exclusivamente para macOS. No es compatible con Linux o Windows en este momento.

¿Qué planes de suscripción se requieren? Para utilizar esta función en Claude Code, debes tener un plan Pro o Max autenticado a través de claude.ai. No está disponible para planes Team, Enterprise o a través de proveedores de terceros como Bedrock o Vertex AI.

¿Por qué mis aplicaciones se ocultan cuando Claude comienza a trabajar? Es una medida de seguridad y enfoque. Claude Code oculta otras aplicaciones visibles para interactuar solo con las apps aprobadas, evitando interferencias. Se restauran automáticamente al finalizar la tarea.

¿Qué significa el error "Computer use is in use by another Claude session"? Significa que hay otro proceso de Claude Code controlando el equipo. Debes cerrar esa sesión o esperar a que termine antes de iniciar una nueva que requiera control de pantalla.

¿Claude puede ver mis contraseñas o datos en la terminal? No. El diseño de seguridad de Claude Code excluye explícitamente la ventana de la terminal de las capturas de pantalla que el modelo procesa.