Computer Use in Claude Code
Claude Code 电脑控制功能 (Computer Use):跨时代的 CLI 自动化操作工具
Claude Code 的电脑控制功能 (Computer Use) 是一项针对 macOS 用户的研究预览特性。它允许 Claude 在命令行界面中直接接管屏幕,通过模拟点击、键入和查看屏幕来操作原生应用、模拟器及图形化工具。该功能旨在填补 CLI 与 GUI 之间的鸿沟,助力开发者自动化 UI 测试、调试视觉缺陷并验证原生应用构建,是提升开发效率的 SEO 优化级利器。
2026-04-02
14085.4K
Computer Use in Claude Code 产品信息
Claude Code 电脑控制功能 (Computer Use) 深度解析
在现代软件开发流程中,命令行工具与图形用户界面 (GUI) 之间的切换往往是效率的瓶颈。Claude Code 引入的 Computer Use (电脑控制) 功能彻底改变了这一现状。作为一项针对 macOS 用户的研究预览功能,它允许 Claude 直接在您的机器上打开应用、点击按钮、输入文本并截取屏幕,从而实现全自动化的跨界面操作。
What's Claude Code Computer Use
Claude Code Computer Use 是一项集成在 Claude Code CLI 中的内置功能,它赋予了 AI 代理“像人类一样使用电脑”的能力。通过该功能,Claude 不再局限于编写代码和执行 Bash 命令,它还可以感知屏幕内容并控制图形化界面。无论是在交互式会话中测试原生 Swift 应用,还是驱动没有 API 接口的遗留系统,Claude Code 的电脑控制功能都能为您代劳。
注意: 该功能目前仅限 macOS 平台,且需订阅 Claude Pro 或 Max 计划。需要 Claude Code v2.1.85 或更高版本,且仅在交互模式下可用。
Features
1. 无缝的 GUI 自动化
Claude Code 能够填补传统脚本无法触达的空白。它可以打开任何原生 macOS 应用,理解窗口布局,并执行复杂的鼠标和键盘序列。这使得驱动那些只有图形界面的工具成为可能。
2. 智能屏幕感知
利用屏幕截图和先进的视觉理解模型,Claude Code 可以看到您所看到的画面。它能识别 UI 元素的位置,验证布局是否正确,并根据屏幕反馈做出实时决策。
3. 多层级权限管理
安全性是 Claude Code 的核心。系统采用逐个应用授权的模式,对于涉及系统设置、文件系统或终端访问的高敏感应用,会提供专门的警告提示,确保用户对 AI 的操作拥有绝对控制权。
4. 冲突保护与隐私设计
- 单会话锁定:同一时间仅允许一个 Claude 会话控制电脑。
- 应用隔离:在操作期间,未授权的应用会被自动隐藏。
- 终端隐私:Claude 会自动从截图中排除终端窗口,防止指令回流造成的风险。
Use Case
验证原生构建 (Validate a Native Build)
开发者在修改完 macOS 应用代码后,可以让 Claude Code 自动运行 xcodebuild,启动生成的 App,并点击特定菜单验证功能。例如:“构建 MenuBarStats 目标,启动它,并截图验证偏好设置面板是否正常显示。”
重现布局缺陷 (Reproduce a Layout Bug)
当视觉 bug 仅在特定窗口大小时出现,Claude Code 可以精确调整窗口尺寸,捕捉错误状态,并立即分析关联的 CSS 或代码进行修复。
模拟器端到端测试 (Test a Simulator Flow)
无需编写复杂的 XCTest 脚本,直接命令 Claude Code 操作 iOS 模拟器:“在模拟器中打开应用,走完注册流程,告诉我加载时间是否超过 1 秒。”
驱动无 API 工具
对于某些工业设计软件或专有的硬件控制面板,Claude Code 可以通过 GUI 直接操作,实现原本无法实现的自动化流程。
How to Use
要在您的项目中启用 Claude Code 的电脑控制功能,请遵循以下步骤:
步骤 1:开启 MCP 服务器
在交互式 Claude Code 会话中运行以下命令:
/mcp
在服务器列表中找到 computer-use,将其状态设置为 Enable。此设置会针对当前项目进行持久化保存。
步骤 2:授予 macOS 系统权限
当 Claude 首次尝试控制屏幕时,系统会弹出权限请求。您需要前往“系统设置 > 隐私与安全性”授予以下两项权限:
- 辅助功能 (Accessibility):允许点击和输入。
- 屏幕录制 (Screen Recording):允许查看屏幕。 注意:授权后可能需要重启 Claude Code。
步骤 3:批准会话级应用访问
在每个会话中,当 Claude 尝试访问特定 App 时,终端会显示确认信息。您可以选择 Allow (允许) 或 Deny (拒绝)。
步骤 4:随时中断
如果需要立即停止 Claude 的操作,可以随时按下全局快捷键 Esc 或在终端按下 Ctrl+C。Claude 会立即释放控制权并恢复隐藏的应用。
FAQ
Q: 为什么我在 /mcp 列表中找不到 computer-use? A: 请检查以下条件:
- 您是否在使用 macOS?(Windows 和 Linux 暂不支持)
- 版本是否为 v2.1.85+?(使用
claude --version查看) - 您是否是 Pro 或 Max 订阅用户?(使用
/status查看) - 您是否直接通过 claude.ai 认证?(Bedrock 或 Vertex AI 用户暂不支持)
Q: 提示“Computer use is in use by another Claude session”怎么办? A: 这意味着另一个会话正持有机器锁。请结束该会话,或者如果该会话已崩溃,系统会在检测到进程结束后自动释放锁。
Q: 权限弹窗重复出现如何解决? A: macOS 有时需要重启进程才能生效。请彻底退出 Claude Code 并重新启动。如果问题依旧,请在系统设置中手动确认终端应用已被勾选。
Q: Claude 能看到我的聊天记录和密码吗? A: Claude Code 在执行任务时会自动从截图中排除自己的终端窗口,确保其无法看到输出结果或交互细节。但建议在敏感操作期间保持监督。








